[論文レビュー] Procedural Reading Comprehension with Attribute-Aware Context Flow

Aida Amini, Antoine Bosselut+3 more|arXiv (Cornell University)|Mar 31, 2020

Topic Modeling参考文献 19被引用数 8

ひとこと要約

この論文では、事前学習された言語モデルから得られる属性に配慮したおよび文脈に配慮した表現を用いて、エンティティの属性とその状態遷移を同時に予測する、エンド・ツー・エンドのニューラルモデルであるDynaproを提案する。LSTMベースの文脈フローを用いて手続き的テキストをエンティティ属性の動的遷移としてモデル化することで、ProParaおよびnpn-Cookingデータセットで最先端の性能を達成した。

ABSTRACT

Procedural texts often describe processes (e.g., photosynthesis and cooking) that happen over entities (e.g., light, food). In this paper, we introduce an algorithm for procedural reading comprehension by translating the text into a general formalism that represents processes as a sequence of transitions over entity attributes (e.g., location, temperature). Leveraging pre-trained language models, our model obtains entity-aware and attribute-aware representations of the text by joint prediction of entity attributes and their transitions. Our model dynamically obtains contextual encodings of the procedural text exploiting information that is encoded about previous and current states to predict the transition of a certain attribute which can be identified as a span of text or from a pre-defined set of classes. Moreover, our model achieves state of the art results on two procedural reading comprehension datasets, namely ProPara and npn-cooking

研究の動機と目的

• 手続き的テキスト（科学的プロセスや料理レシピなど）におけるエンティティ属性の時間的変化を理解する課題に対処すること。
• 手続き的テキストをエンティティ属性の遷移の系列として表現する一般的な形式論を構築すること。
• 文脈符号化を用いてエンティティ属性（スパンまたは事前定義されたクラスとして）とその状態遷移を同時に予測することで、手続き的読解を向上させること。
• 時間的ダイナミクスを捉えるために、エンティティに配慮したおよび属性に配慮した表現を、事前学習された言語モデルから活用すること。
• 科学的および料理的ドメインにまたがる多様な手続き的読解タスクで最先端の性能を達成すること。

提案手法

• モデルは手続き的テキストを、エンティティ、その属性、および時間経過に伴う遷移を表す形式論に変換する。
• 各タイムステップの文脈表現を、事前学習された言語モデルを用いて生成し、過去および現在の状態からの情報を統合する。
• マルチヘッド予測ヘッドを用いて、エンティティ属性（テキストスパンまたは事前定義されたクラスとして）とその遷移を同時に予測する。
• LSTMベースの遷移モジュールを用いて文脈の流れを時間的にモデル化し、状態遷移の動的符号化を可能にする。
• スパン予測とクラス予測を組み合わせることで、属性に配慮した表現を構築し、文脈モデリングを強化する。
• 属性スパン、属性クラス、遷移アクションのすべてに対して統合的な目的関数を用いて、エンド・ツー・エンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 多様なドメインにまたがる手続き的テキストを、エンティティ属性の遷移の系列として統一的な形式論で表現できるか？
• RQ2 エンティティ属性とその遷移の同時予測は、手続き的読解をどのように向上させるか？
• RQ3 属性に配慮した表現と文脈に配慮した表現は、手続き的推論タスクの性能をどの程度向上させるか？
• RQ4 LSTMを用いて時間的文脈フローをモデル化することで、静的符号化と比較して遷移予測の性能が向上するか？
• RQ5 科学的プロセスや料理レシピなど、ドメインをまたがって、アーキテクチャの変更なしに一般化できるか？

主な発見

• DynaproはProParaのドキュメントレベルタスクでテストF1スコア71.9を達成し、新たな最先端性能を樹立した。
• アブレーションスタディの結果、属性に配慮した表現を削除するとF1スコアが69.5に低下し、その重要性が示された。
• 遷移と属性の同時予測が不可欠であることが判明し、遷移予測を削除するとF1スコアは66.3に低下した。
• 入力を現在のタイムステップの文脈に制限（全ドキュメントではなく）することで一般化性能が向上し、全入力にした場合の性能はF1スコア61.0に低下した。
• [CLS]トークンを属性に配慮した表現の代わりに使用すると、モデルの性能が著しく低下し（F1スコア70.9）、細粒度な属性監視の価値が裏付けられた。
• 誤差解析の結果、一貫性のない遷移（例：作成、破壊、移動）が予測の1〜2％で発生しており、主に外部知識の欠落やスパンの不一致に起因していた。