[論文レビュー] Paragraph-level Commonsense Transformers with Recurrent Memory

Saadia Gabriel, Chandra Bhagavatula+4 more|arXiv (Cornell University)|Oct 4, 2020

Topic Modeling被引用数 7

ひとこと要約

本稿では、再帰的記憶を用いて段落レベルの文脈を統合することで、物語文書に対して一貫性のある常識的推論を生成する、ディス course-aware なトランスフォーマーモデル PARA-COMET を紹介する。COMET や ATOMIC の文レベルの推論を用いた遠隔教師付き学習により訓練された PARA-COMET は、一貫性と新規性の両面で向上を達成し、COMET と比較して矛盾する推論の割合を 5.57 パcent 点低減した。BLEU スコアは高く、人的評価でも優れた性能を示した。

ABSTRACT

Human understanding of narrative texts requires making commonsense inferences beyond what is stated explicitly in the text. A recent model, COMET, can generate such implicit commonsense inferences along several dimensions such as pre- and post-conditions, motivations, and mental states of the participants. However, COMET was trained on commonsense inferences of short phrases, and is therefore discourse-agnostic. When presented with each sentence of a multi-sentence narrative, it might generate inferences that are inconsistent with the rest of the narrative. We present the task of discourse-aware commonsense inference. Given a sentence within a narrative, the goal is to generate commonsense inferences along predefined dimensions, while maintaining coherence with the rest of the narrative. Such large-scale paragraph-level annotation is hard to get and costly, so we use available sentence-level annotations to efficiently and automatically construct a distantly supervised corpus. Using this corpus, we train PARA-COMET, a discourse-aware model that incorporates paragraph-level information to generate coherent commonsense inferences from narratives. PARA-COMET captures both semantic knowledge pertaining to prior world knowledge, and episodic knowledge involving how current events relate to prior and future events in a narrative. Our results show that PARA-COMET outperforms the sentence-level baselines, particularly in generating inferences that are both coherent and novel.

研究の動機と目的

• COMET のようなディス course 無視型の常識的モデルが、物語的文脈を考慮せずに個別に推論を生成するという限界を是正すること。
• 高価な手動アノテーションを必要とせずに、スケーラブルな段落レベルの常識的推論手法を構築すること。
• 再帰的記憶を用いて物語構造からのエピソード的知識を統合することで、生成された推論の一貫性と妥当性を向上させること。
• モデルが、物語全体の文脈と整合的でありながらも、新規な推論を生成できることを可能にすること。

提案手法

• PARA-COMET は、COMET や ATOMIC の文レベルの推論から構築された遠隔教師付きコーパスで微調整された、トランスフォーマーベースのシーケンス・ツー・シーケンスモデルである。
• モデルは再帰的記憶機構を用いて、物語内の出来事の間でエピソード的知識を符号化・維持し、時間的および因果的依存関係を追跡できるようにしている。
• 遠隔教師付き学習は、文レベルの推論を物語的文脈と一致させることで実施され、段落レベルの一貫性に対する弱教師信号が得られる。
• 候補となる推論の、物語全体の文脈内での尤もらしさに基づいてスコアを付けるための一体的指標が導入され、妥当な推論の選別が向上した。
• モデルは GPT および GPT-2 アーキテクチャを用いて訓練されており、GPT は物語テキストの事前学習を経ているため、より優れた性能を示した。
• 2段階の訓練プロセスが採用された：まず、遠隔教師付きデータでベースモデルを微調整し、その後、一貫性に基づく損失関数を用いてさらに最適化することで、物語の一貫性が向上した。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーベースのモデルは、既存の知識ベースとは異なり、物語全体の文脈と整合的でありながらも新規な推論を生成できるか？
• RQ2 文レベルの推論を用いた遠隔教師付き学習は、手動アノテーションを一切必要とせずに段落レベルのディス course 覚醒を実現するのにどの程度有効か？
• RQ3 再帰的記憶を統合することで、モデルの出来事間での物語的一貫性を維持する能力がどの程度向上するか？
• RQ4 異なる事前学習アーキテクチャ（GPT 対 GPT-2）は、物語的文脈における生成推論の質と一貫性にどのように影響を与えるか？
• RQ5 最先端のディス course-aware モデルでさえも残存する推論エラーの種類は何か？また、それらはディス course 無視型モデルのエラーとどのように異なるか？

主な発見

• PARA-COMET は自動評価指標においてディス course 無視型ベースラインを上回り、BLEU-1 で最大 3.33 ポイント、BLEU-2 で最大 2.70 ポイントの向上を達成した。
• 矛盾する推論の割合は、COMET の 46.15% から 40.58% に低下し、物語的文脈との一貫性が向上したことが示された。
• PARA-COMET はより多くの新規推論を生成しており、その大部分は元の ATOMIC 知識グラフに存在しないため、検索を超えた一般化が効果的に実現されていることが示された。
• 個人的物語における人的評価では、49.55% の推論が「真実」と評価され、20.72% が「妥当」と評価された。これは COMET の 20.72% と 27.03% と比較して優れた結果であった。
• 特に社会的に複雑でニュアンスに富んだ物語において、話題から逸れた推論や時間的に不適切な推論を回避する能力が、より顕著に向上した。
• 改善が見られたものの、依然として 23% の推論が不適切であり、44% は段落レベルの文脈と矛盾しており、ディス course-aware な常識的推論の課題は依然として継続的であることが示された。