[論文レビュー] Pointing the Unknown Words

Çaǧlar Gülçehre, Sungjin Ahn+3 more|arXiv (Cornell University)|Mar 26, 2016

Topic Modeling被引用数 64

ひとこと要約

この論文は、事前に定義された短縮リストから単語を生成するか、入力コンテキストから直接コピーするかを動的に選択できる、ニューラル言語モデルの性能を向上させる新しいアテンションベースのメカニズム、Pointer Softmax (PS) を提案している。可学習なスイッチングネットワークを用いて、いつポイントするかを決定することで、ニューラル機械翻訳および要約処理においてレア語や未知語の処理が改善され、Europarl 英語-フランス語翻訳タスクで BLEU スコアが 3.6 ポイント向上し、収束速度も向上した。

ABSTRACT

The problem of rare and unknown words is an important issue that can potentially influence the performance of many NLP systems, including both the traditional count-based and the deep learning models. We propose a novel way to deal with the rare and unseen words for the neural network models using attention. Our model uses two softmax layers in order to predict the next word in conditional language models: one predicts the location of a word in the source sentence, and the other predicts a word in the shortlist vocabulary. At each time-step, the decision of which softmax layer to use choose adaptively made by an MLP which is conditioned on the context.~We motivate our work from a psychological evidence that humans naturally have a tendency to point towards objects in the context or the environment when the name of an object is not known.~We observe improvements on two tasks, neural machine translation on the Europarl English to French parallel corpora and text summarization on the Gigaword dataset using our proposed model.

研究の動機と目的

• 低頻度語および未学習語彙に対する神経言語モデルの性能制限を解消するため、レア語および未知語問題に対処すること。
• 必要に応じて入力コンテキストから直接単語をコピーできるようにすることで、系列対系列タスクにおける汎化性と耐障害性を向上させること。
• 可学習なスイッチングメカニズムを用いて、短縮リストベースの生成とコンテキストベースのコピーを統合する共同学習フレームワークを構築すること。
• 低リソース環境および OOV（未知語）状況下でのモデル収束を加速させ、テスト性能を向上させること。

提案手法

• モデルは2つの並列なソフトマックス層を使用する：1つは事前に定義された短縮リストからの単語予測を、もう1つは入力コンテキストの単語にアテンションを当ててコピーするためのものである。
• 各時刻で、短縮リストを使用するかコンテキストポインタを使用するかを決定するための微分可能なスイッチングネットワーク（残留接続付き2層MLPとノイズ付きtanh活性化関数を用いる）が使用される。
• スイッチングネットワークは現在の隠れ状態とコンテキストベクトルに条件付けられており、生成とコピーの間で適応的に選択が可能になる。
• アテンション機構は、入力単語に対するコンテキストに依存した確率を計算し、モデルがソース系列内の関連する単語に「ポイント」できるようにする。
• モデル全体は、予測損失とコピー損失を統合した1つの目的関数を用いて、エンドツーエンドで訓練される。
• 勾配ノルムが1を超えた場合に勾配クリッピングが適用され、学習の安定化が図られる。

実験結果

リサーチクエスチョン

• RQ1 可学習なスイッチングメカニズムは、系列対系列モデルにおけるレア語・未知語の処理を改善できるか？
• RQ2 短縮リストベースの生成とコンテキストベースのコピーを組み合わせることで、ニューラル機械翻訳および要約処理の性能が向上するか？
• RQ3 明示的な教師信号を必要とせずに、モデルは未知語やレア語に対して、いつ、どこにポイントすべきかを学習できるか？
• RQ4 標準的なソフトマックスに短縮リストを組み合わせた場合と比較して、ポインタソフトマックスの使用は学習収束を加速するか？

主な発見

• Pointer Softmax を搭載したモデルは、Europarl 英語-フランス語翻訳タスクで 23.76 の BLEU スコアを達成し、標準ソフトマックスを用いたベースラインNMTモデルより 3.6 ポイント向上した。
• Pointer Softmax を搭載したモデルは、200k ステップで検証NLL（63.91）を達成したが、ベースラインモデルは400kステップを経て同じ性能に到達したため、収束がより速かった。
• Gigaword 要約データセットでは、大規模語彙トリックと組み合わせても、Pointer Softmax が性能向上を示し、未知語に対して高い耐性を示した。
• スイッチングネットワークに2層MLPにノイズ付きtanh活性化関数と残留接続を適用した場合、ReLUベースの代替手法に比べて BLEU スコアが約1ポイント向上した。
• モデルは、名前付きエンティティやレア語に対して、短縮リストに存在しない場合でも効果的にポイントする能力を学習しており、正確なコピーが可能になった。