[論文レビュー] Self-Consistent Narrative Prompts on Abductive Natural Language Inference

Chunkit Chan, Xin Liu+5 more|arXiv (Cornell University)|Sep 15, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

本稿では、連文的整合性と複数の物語的順序（線形および逆順歴史的順序など）を活用することで、連続的で学習可能なプロンプトを用いる自己整合的プロンプトチューニングフレームワークである alpha-PACE を提案する。この手法により、話法接続詞のエンコードと多様な物語順序における一貫性のある推論が可能となり、強力なベースラインを著しく上回るモデル性能が達成される。

ABSTRACT

Abduction has long been seen as crucial for narrative comprehension and reasoning about everyday situations. The abductive natural language inference ($α$NLI) task has been proposed, and this narrative text-based task aims to infer the most plausible hypothesis from the candidates given two observations. However, the inter-sentential coherence and the model consistency have not been well exploited in the previous works on this task. In this work, we propose a prompt tuning model $α$-PACE, which takes self-consistency and inter-sentential coherence into consideration. Besides, we propose a general self-consistent framework that considers various narrative sequences (e.g., linear narrative and reverse chronology) for guiding the pre-trained language model in understanding the narrative context of input. We conduct extensive experiments and thorough ablation studies to illustrate the necessity and effectiveness of $α$-PACE. The performance of our method shows significant improvement against extensive competitive baselines.

研究の動機と目的

• 既存の帰納的自然言語推論（αNLI）手法における文間整合性の欠如とモデルの一貫性の不足に対処すること。
• 線形および逆順歴史的順序を含む複数の物語的順序をモデル化することで、αNLIにおける物語理解を向上させ、文脈的推論を強化すること。
• プロンプトチューニングを用いてモデルの一貫性を低下させることなく、入力の変化に対しても意味を保持する自己整合的フレームワークを開発すること。
• 話法接続詞（例：「結果として」「次に」）が帰納的推論におけるモデル行動と整合性に与える影響を調査すること。
• 連続的で学習可能なプロンプトが、一貫性があり妥当な説明を引き出す点で、離散的プロンプトやプロンプトなしの手法を上回ることを実証すること。

提案手法

• 事前学習言語モデル（PLM）をαNLIで誘導するために、線形、逆順歴史的順序、その他のさまざまな物語的順序を考慮する一般的な自己整合的フレームワークを提案する。
• 各物語的順序に対して、話法接続詞を用いて時間的・因果的関係をエンコードする特定のプロンプトテンプレートを設計する。
• PLMの重みを固定したまま最適化可能な連続的で微分可能なプロンプトトークンを用いたプロンプトチューニングを採用し、モデルの一貫性を確保する。
• 学習済みプロンプト埋め込みと話法接続詞ベクトル間のコサイン類似度を用いて、モデルが学習した整合性パターンの解釈と検証を行う。
• 複数の物語的順序における予測の整合性とロバスト性を向上させるために、メジャー投票を適用する。
• 効果性を評価するため、プロンプトなし、離散的接続詞プロンプト、連続的クローズプロンプトの3つの入力設定で性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 物語的順序を通じた文間整合性の組み込みが、αNLIにおける帰納的推論性能に与える影響は何か？
• RQ2 自己整合的プロンプトチューニングフレームワークは、異なる物語順序間でモデルの一貫性を向上させることができるか？
• RQ3 連続的で学習可能なプロンプトは、離散的プロンプトやプロンプトなしの手法に比べて、一貫性があり妥当な仮説を引き出す点でどれほど優れているか？
• RQ4 モデルが学習した話法接続詞は、物語的文脈における意味的な因果的または時間的関係をどれほど適切に反映しているか？
• RQ5 複数の物語的順序（例：逆順歴史的順序）の使用は、よりロバストで正確な帰納的推論をもたらすか？

主な発見

• 提案された alpha-PACE モデルは、αNLIベンチマークにおいて強力な競合ベースラインを著しく上回る性能を達成する。
• 連続的クローズプロンプトは、ほとんどの物語的順序パターンで離散的話法接続詞プロンプトを上回り、微分可能なプロンプト学習の利点を示している。
• 逆順歴史的順序も線形物語と同等の性能を示し、フレームワークが非線形な物語構造を効果的に処理できることを裏付けている。
• モデルが学習したプロンプトは、『結果として』や『次に』といった意味のある話法接続詞と高い意味的類似度を示しており、文間関係の有効なエンコードがなされていることが示された。
• アブレーションスタディにより、文間整合性と自己整合性の両方が性能に不可欠であることが確認され、完全なフレームワークがアブレーション変種を上回った。
• 解釈可能性分析から、モデルが特定の話法マーカーを因果的・時間的関係に関連付ける能力を学習していることが明らかになった。これにより、物語の整合性が向上した。