[論文レビュー] The Referential Reader: A Recurrent Entity Network for Anaphora Resolution

Fei Liu, Luke Zettlemoyer+1 more|arXiv (Cornell University)|Feb 5, 2019

Topic Modeling参考文献 19被引用数 4

ひとこと要約

本稿では、参照関係をオンライン処理中に段階的に解消するための微分可能で再帰的なエンティティネットワーク、すなわち参照読解者（Referential Reader）を提案する。このモデルは、固定サイズのエンティティ参照メモリを維持することで、エンティティのメモリセルを学習可能なゲートによって更新または上書きする。教師あり共参照解決と教師なし言語モデリングの目的関数を併用したエンド・ツー・エンド学習により、GAPデータセットで優れた性能を達成した。

ABSTRACT

We present a new architecture for storing and accessing entity mentions during online text processing. While reading the text, entity references are identified, and may be stored by either updating or overwriting a cell in a fixed-length memory. The update operation implies coreference with the other mentions that are stored in the same cell; the overwrite operation causes these mentions to be forgotten. By encoding the memory operations as differentiable gates, it is possible to train the model end-to-end, using both a supervised anaphora resolution objective as well as a supplementary language modeling objective. Evaluation on a dataset of pronoun-name anaphora demonstrates strong performance with purely incremental text processing.

研究の動機と目的

• 文脈ペairモデルの限界を解消すること。これは、バッチ処理の性質ゆえに計算コストが高く、認知的に現実的でない。
• 人間のオンライン参照解消に類似した、段階的なテキスト処理を可能にするモデルの開発。
• 教師あり共参照解決と教師なし言語モデリングの両方の目的関数を用いたエンド・ツー・エンド学習を可能にし、一般化性能を向上させること。
• オンライン更新と上書きをサポートする微分可能なメモリ機構の統合。また、重要度に基づくメモリ保持を実現すること。
• インクリメンタル処理を伴う、名前・代名詞の共参照解消においてGAPデータセットでモデルの有効性を示すこと。

提案手法

• キー（クエリ表現）、値（エンティティ埋め込み）、重要度（salience）の3要素からなる固定長のメモリを用いてエンティティを表現する。
• 入力トークンと前の隠れ状態から得られる事前再帰状態を用いて、微分可能なゲートによってメモリ操作を制御する。
• 事前再帰状態のシグモイドゲートを用いてエンティティ参照候補の検出を実行し、トークンが候補となるエンティティ参照かどうかを決定する。
• 事前再帰状態から導出されるクエリベクトルを用い、メモリのキーに注目することで、潜在的な先行詞を同定する。
• 更新ゲートと上書きゲートを連続的かつ微分可能な関数として定義する。更新ゲートは、参照確率で重み付けされた注意スコアであり、上書きゲートは学習可能な意思決定によってメモリ内容を置き換える。
• 動的ゲートを介してメモリ状態をGRUの隠れ状態更新に統合し、過去の隠れ状態とメモリの寄与度のバランスを調整する。

実験結果

リサーチクエスチョン

• RQ1 微分可能でエンド・ツー・エンドで学習可能なメモリネットワークは、インクリメンタルな共参照解消で優れた性能を達成できるか？
• RQ2 教師なし言語モデリングの事前学習は、半教師あり設定において共参照解消性能をどの程度向上させられるか？
• RQ3 モデルはリアルタイム処理において、共参照鎖や後置参照（cataphora）をどの程度適切に処理できるか？
• RQ4 メモリの重要度機構は、顕著なエンティティを適切に優先し、関連のある先行詞の上書きを効果的に回避できるか？
• RQ5 明示的な言語的監視なしに、モデルは文法的重要度パターン（例：主語対パラスティック句）を学習できるか？

主な発見

• 言語モデリング目的関数を併用して共同学習した場合、GAPテストセットでF1スコア71.4を達成し、教師ありのみのベースラインを上回った。
• モデルは強力なインクリメンタル処理行動を示し、文書全体の文脈を必要とせずに、オンザフライで参照を解消できた。
• 言語モデリング目的関数の導入により、性能が著しく向上し、共参照目的関数のみを使用した場合のF1スコアの低下が抑制された。
• モデルは低重要度の参照（例：パラスティック句内の名前）を無視し、代名詞や高重要度エンティティを優先するよう学習した。これはセンターイング理論の原則と整合的であった。
• 可視化の結果、モデルは複雑なケース、例えば「彼」が文の後に登場する「Avant」を指す後置参照（cataphoric reference）に対しても、正しく共参照リンクを形成していた。
• モデルのメモリ重要度機構は、長いスパンにわたり関連するエンティティを効果的に保持し、誤った上書きを低減させ、長距離共参照解消の性能を向上させた。