[論文レビュー] A Survey on Explainability in Machine Reading Comprehension

Mokanarangan Thayaparan, Marco Valentino+1 more|arXiv (Cornell University)|Oct 1, 2020

Topic Modeling参考文献 117被引用数 32

ひとこと要約

この論文は、機械読解(MRC)における説明可能性のベンチマークとアーキテクチャを系統的にレビューし、知識ベースの説明と運用的説明、ベンチマーク、評価指標、および未解決の研究課題を詳述する。

ABSTRACT

This paper presents a systematic review of benchmarks and approaches for explainability in Machine Reading Comprehension (MRC). We present how the representation and inference challenges evolved and the steps which were taken to tackle these challenges. We also present the evaluation methodologies to assess the performance of explainable systems. In addition, we identify persisting open research questions and highlight critical directions for future work.

研究の動機と目的

• MRCの文脈で説明可能性を定義し、評価、一般化、解釈可能性の重要性を動機づける。
• 説明可能性のベンチマークを列挙し、タスク領域、形式、MRCタイプ、説明の特徴で分類する。
• 知識ベース、運用型、ハイブリッドのカテゴリに分けて説明可能MRCのアーキテクチャ的アプローチを分類し、それらの学習パラダイムを分析する。
• 説明可能性の評価指標を議論し、説明可能なMRCのベンチマークの課題を明らかにする。
• 説明可能MRCを発展させるための未解決の研究課題と今後の方向性を概説する。

提案手法

• 2015年以降、AI/NLP分野での説明可能性に関する系統的レビュー。
• ベンチマークを、領域、形式、MRCタイプ、マルチホップ、説明タイプ、表現といった次元で分類する。
• 説明生成のアーキテクチャパターンの分類学（知識ベース、潜在/neural、ハイブリッドモデルを含む）。
• 評価方法論とトレーニングのためのシルバー説明の概念の分析。
• 対比的説明や説明の忠実性を含む未解決の研究課題について論じる。

実験結果

リサーチクエスチョン

• RQ1 説明可能なMRCモデルを開発・評価するために用いられる主なベンチマークとデータセットは何か。
• RQ2 MRCで説明を生成・統合するために用いられるアーキテクチャパターンは何か、抜き出し型と要約型のタスクでどう異なるか。
• RQ3 MRCでの説明可能性はどのように評価され、説明のベンチマークにおける指標と課題は何か。
• RQ4 現在の説明可能MRC研究の限界と未解決の問題点、および今後の研究の推奨方向は何か。

主な発見

• MRCの説明可能性は、主に知識ベースの説明と運用型の説明という二つのタイプで追求され、要約的推論への関心が高まっている。
• 説明可能MRCのベンチマークは、マルチホップ推論と明示的な説明信号を取り入れる傾向が強まり、オープンドメイン、科学、常識分野の抽出型・要約型タスクを含む。
• アーキテクチャの傾向は、説明可能性のための監督付きニューラル手法へ移行しており、説明的関連性をモデル化するためのトランスフォーマーやグラフネットワークの利用が増えている。
• 説明可能性の評価は、完全一致、F1、ランキング指標、言語生成指標を組み合わせて行い、説明の忠実性と品質に関する懸念がある。
• 最近の研究は、質問の分解、明示的推論チェーン、ニューロ象徴的アプローチなど、説明可能性と一般化を改善するデータセットと方法論の革新を導入している。
• 本論文は、対比的説明の必要性や説明の忠実性の向上など、未解決の問題を挙げている。