[論文レビュー] Learning Numeral Embeddings

Chengyue Jiang, Zhonglin Nian+5 more|arXiv (Cornell University)|Dec 28, 2019

Mathematics Education and Teaching Techniques参考文献 30被引用数 4

ひとこと要約

本稿では、自己組織化マップ（SOM）またはガウス混合モデル（GMM）を用いてプロトタイプを誘導することで、任意の数字を学習済みプロトタイプ数字埋め込みの重み付き平均として表現する2つの新しい数字埋め込み手法を提案する。このアプローチは、未知語彙外（OOV）の数字を効果的に処理し、語彙類似度、数理的感覚、予測、系列分類の各NLPタスクでベースラインを上回る性能を発揮し、特にリソースが限られた状況下で顕著な向上を示す。

ABSTRACT

Word embedding is an essential building block for deep learning methods for natural language processing. Although word embedding has been extensively studied over the years, the problem of how to effectively embed numerals, a special subset of words, is still underexplored. Existing word embedding methods do not learn numeral embeddings well because there are an infinite number of numerals and their individual appearances in training corpora are highly scarce. In this paper, we propose two novel numeral embedding methods that can handle the out-of-vocabulary (OOV) problem for numerals. We first induce a finite set of prototype numerals using either a self-organizing map or a Gaussian mixture model. We then represent the embedding of a numeral as a weighted average of the prototype number embeddings. Numeral embeddings represented in this manner can be plugged into existing word embedding learning approaches such as skip-gram for training. We evaluated our methods and showed its effectiveness on four intrinsic and extrinsic tasks: word similarity, embedding numeracy, numeral prediction, and sequence labeling.

研究の動機と目的

• 訓練データにおける多様性と低頻度性のため、従来の単語埋め込み手法が数字をうまく処理できない問題に対処すること。
• 訓練データに存在しない稀なまたは未確認の数字に対しても意味のある埋め込みを生成できる手法を開発すること。
• スキップグラムなどの標準的な単語埋め込みフレームワークに数字埋め込みを統合し、モデルを再訓練から始めることなく統合できること。
• 提案手法の有効性を、数字を含む内在的および外在的タスクにおいて評価すること。
• カスタマーサービスや臨床テキストなど、数字の意味や大きさが重要な状況において、下流NLPタスクの性能を向上させること。

提案手法

• 自己組織化マップ（SOM）またはガウス混合モデル（GMM）を用いて、訓練データから有限のプロトタイプ数字を誘導する。
• 任意のターゲット数字の埋め込みを、各プロトタイプ埋め込みの重み付き平均として表現する。重みは、ターゲットと各プロトタイプとの間の数値的距離に基づく。
• 標準的な単語埋め込みモデル（例：スキップグラム）に、プロトタイプベースの数字埋め込みを入力として与え、非数字語と併せて共同学習を行う。
• 標準的な目的関数を用いてエンドツーエンドでモデルを訓練し、単語と数字の両方の表現を同時に学習可能にする。
• 得られた埋め込みを、系列分類、語彙類似度、数字予測などの下流タスクに適用する。
• モデル選択には検証セットを用い、評価ではポジティブ・セグメンテーションや文字レベルの埋め込みなどの追加特徴量や微調整を一切行わない。

実験結果

リサーチクエスチョン

• RQ1 プロトタイプベースの数字埋め込みは、訓練データに存在しないが稀な数字や未確認の数字を効果的に表現できるか？
• RQ2 ベースライン手法と比較して、語彙類似度や埋め込みの数理的感覚といった内在的タスクにおいて、提案手法の数字埋め込みはどの程度の性能を示すか？
• RQ3 数値予測や系列分類などの外在的タスクにおいて、提案手法の埋め込みはどの程度の性能向上をもたらすか？
• RQ4 訓練データが10％または30％に制限された低リソース状況下で、この手法はどの程度一般化できるか？
• RQ5 この手法は、年号としての数字と数量としての数字といった、数字の異なる意味的意味合いを区別できるか？

主な発見

• 提案手法は、オリジナル、拡張、ハードテストセットのすべてにおいて、系列分類タスクですべてのベースラインを上回り、最高のF1スコアを達成した。
• カスタマーサービスデータセットでは、100％の訓練データを使用した場合、オリジナルテストセットでF1スコア93.24、ハードテストセットで92.10を記録し、NumAsTokを著しく上回った。
• 訓練データが10％に制限された低リソース状況下でも、提案手法はベースラインより顕著な性能優位性を示し、一般化性能が高く、データ依存性が低いことが示された。
• 数値の摂動に対して本手法は頑健であり、拡張テストセットでも性能低下が最小限に抑えられた。これに対してNumAsTokはOOV問題の影響で著しい性能低下を示した。
• プロトタイプベースのアプローチは、数理的感覚の埋め込みにおいて高い正確性を達成しており、大きさや数値的関係性が効果的に符号化されていることが示された。
• 結果から、本手法は数字の意味的側面と数量的側面の両方を効果的にモデル化できており、NLPシステムにおけるより優れた推論を可能にする可能性があることが示唆された。