[論文レビュー] FRAGE: Frequency-Agnostic Word Representation

Chengyue Gong, Di He+4 more|arXiv (Cornell University)|Sep 18, 2018

Topic Modeling参考文献 45被引用数 79

ひとこと要約

FRAGEは頻度依存性のない語彙埋め込みを学習する対立的訓練フレームワークを導入し、頻度バイアスを低減させ、語彙類似性、言語モデリング、機械翻訳、テキスト分類のパフォーマンスを向上させます。

ABSTRACT

Continuous word representation (aka word embedding) is a basic building block in many neural network-based models used in natural language processing tasks. Although it is widely accepted that words with similar semantics should be close to each other in the embedding space, we find that word embeddings learned in several tasks are biased towards word frequency: the embeddings of high-frequency and low-frequency words lie in different subregions of the embedding space, and the embedding of a rare word and a popular word can be far from each other even if they are semantically similar. This makes learned word embeddings ineffective, especially for rare words, and consequently limits the performance of these neural network models. In this paper, we develop a neat, simple yet effective way to learn \emph{FRequency-AGnostic word Embedding} (FRAGE) using adversarial training. We conducted comprehensive studies on ten datasets across four natural language processing tasks, including word similarity, language modeling, machine translation and text classification. Results show that with FRAGE, we achieve higher performance than the baselines in all tasks.

研究の動機と目的

• 標準的な語彙埋め込みにおける頻度駆動のバイアスを検出・特徴付ける。
• 語彙頻度に依存しにくい語表現を作る対立訓練フレームワークを開発する。
• FRAGEが複数のデータセットとアーキテクチャにおいて下流のNLPタスクの性能を向上させることを示す。

提案手法

• 頻度に基づいて語彙を人気ワードと希少ワードに分割する。
• 埋め込みが人気ワードか希少ワードに属するかを予測する識別器を導入する。
• 共同目的関数を最適化する：L_T (タスク特有の損失) から lambda倍の L_D (識別器損失) を引く。
• タスク損失を最小化しつつ識別器をだまし、頻度に依存しない埋め込みを得るようモデルと埋め込みを訓練する。
• 識別器は人気対希少ワードの分類精度を最大化するよう訓練され、埋め込みはタスク損失を最小化しつつ識別器をだますように訓練される。

実験結果

リサーチクエスチョン

• RQ1 FRAGEで学習された語彙埋め込みは頻度バイアスを低減し、希少語の意味関係をより良く捉えるだろうか？
• RQ2 FRAGEはタスク固有のベースラインと比較して多様なNLPタスクでパフォーマンスを向上させるだろうか？
• RQ3 対立的目的は標準的なタスク損失とどのように相互作用して、より意味論的に意味のある埋め込みを生み出すのか？

主な発見

• FRAGEは語彙類似性タスクで一貫してベースラインを上回り、RW希少語データセットで約5.4ポイントの改善を示した。
• 言語モデリングの改善が観察され、PTBでは様々なチェックポイントでテストパープレキシティが0.8、1.2、1.0ポイント改善； WT2では2.3、2.4、2.7ポイントの改善。
• 機械翻訳はBLEUスコアの改善を示し、WMT14 En-Deでベース1.06、big0.71の改善； IWSLT De-Enで0.85の改善。
• テキスト分類の改善：AGのニュース、IMDB、20NGデータセットで精度がそれぞれ1.26%、0.66%、0.44%向上。
• 10データセットにわたる語彙類似性、言語モデリング、翻訳、テキスト分類全般で、FRAGEはベースラインより性能を改善することを示している。