[論文レビュー] Tracking State Changes in Procedural Text: A Challenge Dataset and Models for Process Paragraph Comprehension

Bhavana Dalvi Mishra, Lifu Huang+3 more|arXiv (Cornell University)|May 17, 2018

Topic Modeling参考文献 21被引用数 14

ひとこと要約

この論文は、動的プロセス全体にわたるエンティティの状態（存在および位置）の詳細なアノテーションを備えた、自然言語で記述された手順的テキストの大型スケールデータセットであるProParaを紹介する。LSTM入力符号化とスパン予測を用いることで、従来手法を上回る最大19%の精度向上を達成する2つの新規ニューラルモデル、ProLocalとProGlobalを提案し、プロセス理解における事実上非明示的な因果関係の推論において優れた性能を発揮する。

ABSTRACT

We present a new dataset and models for comprehending paragraphs about processes (e.g., photosynthesis), an important genre of text describing a dynamic world. The new dataset, ProPara, is the first to contain natural (rather than machine-generated) text about a changing world along with a full annotation of entity states (location and existence) during those changes (81k datapoints). The end-task, tracking the location and existence of entities through the text, is challenging because the causal effects of actions are often implicit and need to be inferred. We find that previous models that have worked well on synthetic data achieve only mediocre performance on ProPara, and introduce two new neural models that exploit alternative mechanisms for state prediction, in particular using LSTM input encoding and span prediction. The new models improve accuracy by up to 19%. The dataset and models are available to the community at http://data.allenai.org/propara.

研究の動機と目的

• 因果的効果が明示的に記述されていない現実世界の手順的テキストにおける、非明示的な状態変化の推論という課題に対処すること。
• プロセスステップにわたるエンティティの存在および位置の詳細なアノテーションを備えた大規模な自然言語データセットの作成。
• テキスト内の複雑で非明示的な因果的連鎖を通じて、状態変化を推論し伝搬できるモデルの開発。
• 従来の合成データで訓練されたモデルが現実世界の手順的テキストでは失敗することを示し、新たな手法の必要性を強調すること。
• 動的ワールド推論および読解理解分野の研究を促進するためのベンチマークとオープンソースリソースの提供。

提案手法

• ProParaデータセットは、488件の人が作成した手順的パラグラフから構成され、81,000件のデータポイントにわたりエンティティ状態（存在および位置）がアノテートされている。
• 各パラグラフはステップに分割され、各エンティティの状態はクラウドソーシングによるラベル付け（1例あたり5人のTurker）によって各ステップでアノテートされている。
• 2つの新規ニューラルモデルを提案：ProLocalは局所的文脈とスパン予測を用いて状態変化を推論するが、逆伝播は行わない。一方、ProGlobalはグローバルな一貫性制約とLSTMベースの符号化を用いる。
• ProLocalは、文のスパンに対するアテンションを用いて局所的推論を行い、エンティティの位置と存在を予測する。逆伝播は行わない。
• ProGlobalは、全ステップにわたる一貫性を強制するグローバル推論機構を採用し、LSTM符号化を用いて長距離依存関係をモデル化する。
• モデルはProParaデータセット上でエンドツーエンドに訓練され、存在および位置予測のための交差エントロピー損失関数が用いられている。

実験結果

リサーチクエスチョン

• RQ1 合成データで訓練された既存のニューラルモデルは、非明示的な因果関係を含む現実世界の手順的テキストに一般化可能か？
• RQ2 スパン予測とLSTM符号化を用いるモデルは、動的プロセスにおけるエンティティ状態の追跡にどの程度効果的か？
• RQ3 自然言語における非明示的な状態変化の推論において、現在のモデルの主な失敗モードは何か？
• RQ4 グローバルな一貫性制約は、手順的テキスト理解における状態追跡をどの程度向上できるか？
• RQ5 状態情報の逆方向伝播は、エンティティ追跡タスクにおけるモデル性能を向上させられるか？

主な発見

• ProParaデータセットには、488件の人が作成した手順的パラグラフが含まれ、81,000件のアノテート済みエンティティ状態遷移が記録されており、合成データとは顕著な違いを示す。
• 再帰的エンティティネットワークやクエリリダクションネットワークといった既存のモデルは、ProParaにおいても多数決ベースラインとほとんど差がない性能にとどまり、顕著な一般化ギャップが示された。
• 提案されたProLocalおよびProGlobalモデルは、ProParaベンチマークにおいて、従来手法を最大19%上回る状態追跡精度を達成した。
• このタスクにおける人間のパフォーマンスの上限は約80%であり、データセットが明確に定義されておりかつ挑戦的であることが示された。
• 主な誤りタイプには、非明示的な作成／破壊（全エラーの37%）、位置スパンの誤予測（27%）、複雑な文法（13%）、伝搬エラー（9%）がある。
• 逆方向の状態推論は主な課題であり、現在のモデル（ProGlobal、EntNet、QRNsなど）は、未来の状態から過去の状態を推論する能力を内蔵していない。