[論文レビュー] XTQA: Span-Level Explanations of the Textbook Question Answering

Jie Ma, Qi Chai+4 more|arXiv (Cornell University)|Nov 25, 2020

Topic Modeling被引用数 5

ひとこと要約

本稿では、教科書QA（TQA）におけるスパンレベルの説明を提供する新規フレームワーク、XTQAを提案する。XTQAは、全教科書文脈から関連する文脈スパンを特定するための粗い段階から細かい段階への説明抽出（EE）アルゴリズムを用いる。弱教師ありのアプローチにより、回答ラベルを用いて説明抽出を最適化することで、CK12-QAのテストスプリットで52.38%のmIoUと36.95%の精度を達成し、最先端の性能を示した。これにより、説明可能性とTQA性能の両方が向上した。

ABSTRACT

Textbook Question Answering (TQA) is a task that one should answer a diagram/non-diagram question given a large multi-modal context consisting of abundant essays and diagrams. We argue that the explainability of this task should place students as a key aspect to be considered. To address this issue, we devise a novel architecture towards span-level eXplanations of the TQA (XTQA) based on our proposed coarse-to-fine grained algorithm, which can provide not only the answers but also the span-level evidences to choose them for students. This algorithm first coarsely chooses top $M$ paragraphs relevant to questions using the TF-IDF method, and then chooses top $K$ evidence spans finely from all candidate spans within these paragraphs by computing the information gain of each span to questions. Experimental results shows that XTQA significantly improves the state-of-the-art performance compared with baselines. The source code is available at https://github.com/keep-smile-001/opentqa

研究の動機と目的

• 現在の教科書QA（TQA）システムが、根拠のない回答のみを提供するという説明可能性の欠如に対処するため。
• 特定の回答がなぜ選ばれたかを説明する、段落内の文の組み合わせであるスパンレベルの説明を生成する手法を開発するため。
• 推論パイプラインに説明抽出モジュールを統合することで、TQA性能と解釈可能性の両方を向上させるため。
• 既存のTQAモデルと互換性があり、即座に統合可能な説明モジュールを実現し、その説明可能性と性能を向上させるため。
• ゴールドスタンダードの説明アノテーションが存在しないため、回答ラベルを用いた弱教師ありの説明抽出の有効性を検証するため。

提案手法

• XTQAは、教科書の全テキスト的文脈を候補証拠として扱い、各段落をリトライーブのためのドキュメントとしてモデル化する。
• 粗い段階では、埋め込みベースのクエリ拡張を用いて、質問に関連する上位M個の段落を検索する。
• 細かい段階では、上位M個の段落内のすべての候補スパンについて情報ゲインを計算し、質問に対する最も情報量の多いスパンを特定する。
• 情報ゲインは、スパンが質問における不確実性をどれほど減少させるかを測る指標であり、値が大きいほど説明的関連性が高いことを示す。
• 説明抽出は弱教師ありで最適化される：CK12-QAにゴールドスタンダードの説明アノテーションが存在しないため、回答ラベルを用いて説明品質を最適化する。
• EEアルゴリズムは、他のTQAモデルに統合可能であり、それらの説明可能性と性能を向上させることができる。

実験結果

リサーチクエスチョン

• RQ1 TQAシステムは、人間の学習者にとって正確かつ解釈可能なスパンレベルの説明を生成できるか？
• RQ2 マルチモーダルな教科書文脈における説明生成のための関連する文のスパンを特定するにあたり、粗い段階から細かい段階へのアプローチはどの程度有効か？
• RQ3 説明抽出を統合することで、全体的なTQA性能はどの程度向上するか？
• RQ4 図解が関与する場合、説明の質と回答の正確性の相関関係はどの程度か？
• RQ5 ゴールドスタンダードのアノテーションが存在しない状況下で、回答ラベルを用いた弱教師ありの説明抽出は、信頼性があり有用な説明を生み出せるか？

主な発見

• XTQAは、CK12-QAのテストスプリットの最初の300問（非図解150問、図解150問）において、mIoUが52.38%という最高の説明性能を達成した。
• この手法により、テストスプリットでのTQA性能が36.95%に向上し、以前の最先端手法を2.89ポイント上回った。
• 正しく回答された質問では、説明のmIoUが73.65%に達しており、正解と正確な説明との間の強い整合性を示している。
• 誤って回答された質問では、説明のmIoUは35.97%にとどまり、テキストスパン以外の要因（例：図の理解）が回答の正確性に重要な役割を果たしている可能性を示唆している。
• 粗い段階が主なボトルネックである：段落の検索に誤りがあると、細かい段階でのスパン抽出に失敗するため、検索の改善が不可欠である。
• テキスト質問の4%と図解質問の12.5%のみが教育的図解を必要としており、残りの80%は単一または複数の文に依存している。このため、スパンレベルのテキスト説明に焦点を当てる正当性がある。