[論文レビュー] Reference-Aware Language Models

Zichao Yang, Phil Blunsom+2 more|arXiv (Cornell University)|Nov 5, 2016

Topic Modeling参考文献 23被引用数 10

ひとこと要約

本稿では、参照意思決定を離散的確率的潜在変数として扱う参照対応言語モデルを提案する。これにより、指示表現（例：代名詞、固有名詞、データベースエントリ）の動的かつ文脈依存的な生成が可能になる。外部リスト、データベース、または内部状態からの参照を潜在的選択としてモデル化することで、レシピ生成、タスク指向対話、共参照モデル化の分野で、決定的アテンションおよび標準的な言語モデルベースラインを上回る性能を発揮し、パープレキシティと未観測のテーブルエントリへのゼロショット一般化において顕著な向上を示す。

ABSTRACT

We propose a general class of language models that treat reference as an explicit stochastic latent variable. This architecture allows models to create mentions of entities and their attributes by accessing external databases (required by, e.g., dialogue generation and recipe generation) and internal state (required by, e.g. language models which are aware of coreference). This facilitates the incorporation of information that can be accessed in predictable locations in databases or discourse context, even when the targets of the reference may be rare words. Experiments on three tasks shows our model variants based on deterministic attention.

研究の動機と目的

• 従来の言語モデルが、代名詞や固有名詞などの参照表現を静的トークンとして扱うのではなく、動的意思決定として明示的にモデル化できないという限界に対処すること。
• モデルが何を生成するかだけでなく、その出力をどこから得るのかも決定できるようにし、外部データベース、材料リスト、または以前の会話文脈から選択可能な確率的潜在変数を用いること。
• 共参照解決、リスト参照、データベースとの連携を要する応用分野における性能向上を図るため、参照意思決定を明示的にモデル化すること。
• 参照を潜在変数として扱うことで、対話やレシピ生成におけるレアまたは未観測のテーブルエントリに対してもより良い一般化性能が得られることを示すこと。

提案手法

• 各トークン位置に、どの参照表現を生成するか、およびその出典をどこにするかを表す潜在変数 $ z_i $ を導入する。
• 条件付き確率 $ p(x_i | c_i) $ は $ z_i $ における周辺化として計算され、$ p(x_i | z_i, c_i) $ は出典（例：リスト、データベース、以前のトークン）からの生成をモデル化し、$ p(z_i | c_i) $ は出典選択をモデル化する。
• 観測されない $ z_i $ については、学習中にすべての可能な参照対象について周辺化を行い、参照意思決定を潜在変数として扱うことで、エンドツーエンド学習を可能にする。
• 本フレームワークは3つの設定をサポートする：静的リスト（例：材料リスト）への参照、外部データベース（例：レストランの属性）への参照、および文書内での共参照解決（例：代名詞）。
• 異なる生成モード（コピー、変換、生成）を潜在的参照意思決定に条件づけることで、エキスパートの混合（mixture-of-experts）アプローチを採用する。
• モデルは周辺尤度 $ p(x_i | c_i) = \sum_{z_i} p(x_i | z_i, c_i) p(z_i | c_i) $ に基づく最尤推定により学習され、コピーすべきタイミングと語彙から生成すべきタイミングを学習できる。

実験結果

リサーチクエスチョン

• RQ1 参照意思決定を確率的潜在変数としてモデル化することで、動的参照を要するタスクにおける言語モデル性能が向上するか？
• RQ2 参照を潜在的選択として扱うことで、新しいデータベースエントリなどの未観測またはレアな参照対象に対しても一般化性能が向上するか？
• RQ3 アテンションベースのメカニズムと比較して、参照の明示的モデル化はパープレキシティおよび生成品質においてどのように差をつけるか？
• RQ4 モデルは、単なるコピーを超えて、文脈に応じて参照表現の形を変化させること（例：'Jane' と 'she'）を学習できるか？

主な発見

• 潜在的参照意思決定を用いた参照対応モデルは、標準的な言語モデルおよび決定的アテンションを用いたモデルと比較して、特にエンティティおよびテーブル固有のトークンにおいて低いパープレキシティを達成した。
• 共参照ベースの言語モデルにおいて、潜在的参照意思決定を用いたモデルは、エンティティのパープレキシティを、言語モデル（LM）の44.52から、ポインタネットワーク＋初期化（Pointer + init）の28.56にまで低減させ、共参照処理の改善を示した。
• テーブルポインタモデル（データベースセルへの明示的参照）は、テーブルトークンにおいて最低のパープレキシティ（32.62）を達成し、特に未観測のテーブルエントリにおいて、明示的参照のないモデルを著しく上回った。
• 潜在的参照意思決定を用いたモデルは、稀または未観測のテーブルエントリに対しても一般化性能が高く、テスト時のみに出現するトークンにおけるパープレキシティが、明示的参照モデルを搭載しないモデルと比較して低かった。
• 事前学習済み言語モデルの重みをポインタモデルに初期化することで、エンティティ語と非エンティティ語の両方で性能が向上した。これは、2つのモジュール間での重みの有効な転送が可能であることを示唆している。
• アテンションヒートマップの可視化により、モデルが文脈に応じて適切な参照対象（例：材料リストやデータベースエントリ）を選択していることが確認された。