[論文レビュー] Adversarial NLI for Factual Correctness in Text Summarisation Models

Mario Barrantes, Benedikt Herudek+1 more|arXiv (Cornell University)|May 24, 2020

Topic Modeling参考文献 31被引用数 8

ひとこと要約

本稿では、要約の事実的正確性を向上させるために、アドバーシャルNLI（ANLI）データセット上で変換器ベースのNLIモデルをファインチューニングする手法を提案する。要約が元の文書と論理的に整合性を持つかどうかを示す帰結確率の順序付けを活用することで、ANLIでファインチューニングされたモデルは、以前のNLIモデルと比較して顕著に高い正確性を達成し、事実的正確な要約を検出するうえで、より高い頑健性と信頼性を示している。

ABSTRACT

We apply the Adversarial NLI dataset to train the NLI model and show that the model has the potential to enhance factual correctness in abstract summarization. We follow the work of Falke et al. (2019), which rank multiple generated summaries based on the entailment probabilities between an source document and summaries and select the summary that has the highest entailment probability. The authors' earlier study concluded that current NLI models are not sufficiently accurate for the ranking task. We show that the Transformer models fine-tuned on the new dataset achieve significantly higher accuracy and have the potential of selecting a coherent summary.

研究の動機と目的

• ROUGEスコアが高くても事実的に誤りや矛盾を含む要約を生成してしまう、現在の抽象的要約モデルにおける重大な欠陥を是正すること。
• スパuriousな統計的パターンに依存し、要約タスクに一般化できない既存のNLIモデル（例：SNLI、MNLI）の限界を克服すること。
• より頑健で敵対的に構築されたANLIデータセットを用いてNLIモデルをトレーニングすることで、帰結に基づく要約順序付けの信頼性を向上させること。
• 複数の生成候補から事実的に正しい要約を選択するうえで、ANLIでファインチューニングされたモデルがベースラインNLIモデルを上回ることを検証すること。
• 注意可視化ツールを用いてモデル行動の解釈可能性を提供し、ANLIファインチューニングによってどのように改善された推論が生じるかを理解すること。

提案手法

• 変換器モデル（BERT、RoBERTa、XLNet）を事前学習済み状態から出発し、アドバーシャルNLI（ANLI）データセット上でファインチューニングすることで、推論能力を向上させること。
• Falkeら（2019）の手法に従い、NLIモデルを用いて元の文書と複数の生成要約の間の帰結確率を計算し、順序付け戦略を適用すること。
• 帰結確率が最も高い要約を最終出力として選択することで、NLIを用いて事実的整合性のフィルタリングを実施すること。
• 注意可視化ツール（例：Vig, 2019）を用いてモデル行動を解釈し、ANLIファインチューニング後の注意パターンの変化を分析すること。
• Falkeら（2019）の検証セット上で性能を比較し、ベースラインモデルと比較して帰結正確性の向上を定量化すること。
• 注意ヘッドに関するアブレーションおよび定性的分析を実施し、ANLIトレーニングがスパuriousな注意パターン（例：'sex'と'service'のような無関係なトークン間）を低減するかどうかを評価すること。

実験結果

リサーチクエスチョン

• RQ1 ANLIデータセット上でNLIモデルをファインチューニングすることで、抽象的要約における事実的正確性の検出能力が顕著に向上するか？
• RQ2 ANLIにおける敵対的トレーニングプロセスは、標準的なNLIデータセットと比較して、より頑健で一般化可能な帰結予測をもたらすか？
• RQ3 ANLIでファインチューニングされたモデルの注意パターンは、標準的なMNLIでファインチューニングされたモデルとどのように異なるか、特にスパuriousなトークン関連性に関しては？
• RQ4 ANLIでファインチューニングされたNLIモデルは、複数の候補から正しい要約を選択するうえで、どの程度ベースラインモデルを上回るか？
• RQ5 解釈可能性ツールを用いることで、ANLIでファインチューニングされたモデルがより正確な帰結判断を行う理由を機械的メカニズムとして明らかにできるか？

主な発見

• ANLIでファインチューニングされたNLIモデルは、MNLIやSNLIでのみファインチューニングされたモデルと比較して、事実的に正しい要約を選択する正確性が顕著に高い。
• Falkeら（2019）の検証セット上で、性能の向上が定量的に検証され、帰結正確性の明確な上昇が示された。
• 注意可視化の結果、ANLIファインチューニングにより、無関係なトークン間のスパuriousな注意が低減していることが示された—例として、'sex'と'service'の間の注意が減少し、MNLIのみでトレーニングされたモデルの以前の誤りが是正された。
• ANLIファインチューニングされたモデルの初期層では、文脈と仮説の関係がより強くエンコードされていることが示され、改善された推論がネットワークの初期段階で捉えられている可能性がある。
• ANLIでトレーニングされたモデルは、より一貫性のある注意パターンを示しており、'service'が関連する語（例：'counselling'、'relate'）に注目する傾向が強くなっている一方、無関係な語には注目しなくなっている。
• 結果から、ANLIトレーニングがショートカット学習を緩和し、特に微妙な意味的差異を含む複雑な現実世界の要約シナリオにおいて一般化性能を向上させることを確認した。