[論文レビュー] Human Evaluation of Spoken vs. Visual Explanations for Open-Domain QA

Ana Valeria González, Gagan Bansal+4 more|arXiv (Cornell University)|Dec 30, 2020

Explainable Artificial Intelligence (XAI)参考文献 45被引用数 7

ひとこと要約

本研究は、500名以上の参加者を対象とした人間主導のユーザースタディを通じて、オープンドメイン質問応答（ODQA）における音声対話型と視覚的説明の有効性を評価した。説明は、信頼度スコアのみに比べて、誤りを検出する能力を著しく向上させるが、最も効果的な説明タイプはモダリティに依存する。音声インターフェースでは抽出文の説明が優れているのに対し、視覚的インターフェースではより長い抽出パラグラフがより効果的であり、モダリティに応じた説明設計の必要性が浮き彫りになった。

ABSTRACT

While research on explaining predictions of open-domain QA systems (ODQA) to users is gaining momentum, most works have failed to evaluate the extent to which explanations improve user trust. While few works evaluate explanations using user studies, they employ settings that may deviate from the end-user's usage in-the-wild: ODQA is most ubiquitous in voice-assistants, yet current research only evaluates explanations using a visual display, and may erroneously extrapolate conclusions about the most performant explanations to other modalities. To alleviate these issues, we conduct user studies that measure whether explanations help users correctly decide when to accept or reject an ODQA system's answer. Unlike prior work, we control for explanation modality, e.g., whether they are communicated to users through a spoken or visual interface, and contrast effectiveness across modalities. Our results show that explanations derived from retrieved evidence passages can outperform strong baselines (calibrated confidence) across modalities but the best explanation strategy in fact changes with the modality. We show common failure cases of current explanations, emphasize end-to-end evaluation of explanations, and caution against evaluating them in proxy modalities that are different from deployment.

研究の動機と目的

• 説明がODQAシステムの回答に対する信頼・拒否意思決定を正しく行う能力を向上させるかどうかを調査すること。
• 音声および視覚的モダリティ間で、異なる説明タイプ（証拠パラグラフ、証拠文、要約的要約）の有効性を比較すること。
• 取得した証拠から導かれる説明が、キャリブレーション済み信頼度スコアのような強力なベースラインを上回るかどうかを評価すること。
• 説明設計におけるモダリティ固有の失敗事例と認知的トレードオフを同定すること。
• 実際の展開が音声アシスタントのような音声インターフェースである場合、視覚的のみの代替モダリティで説明を評価することに注意を喚起すること。

提案手法

• 音声または視覚的インターフェースを通じてODQAシステムと対話する500名以上の参加者を対象としたエンドツーエンドのユーザースタディを実施した。
• 3種類の説明タイプを評価：完全な取得済み証拠パラグラフ、1つの取得済み証拠文、人間が作成した要約的要約。
• 実世界のユーザーモチベーションと意思決定コストを模擬するため、成果に基づくインcentive（報酬）マトリクスを用いた。
• モダリティ（音声対話型 vs. 視覚的）を制御し、説明戦略とベースライン間での誤り検出能力を比較した。
• 有効性と認知的負荷を評価するために、正確性、ユーザースピード、および説明の質の主観的評価を測定した。
• 説明が誤った回答を信頼させる原因となった失敗事例を分析した。その結果、信頼度ベースラインよりも誤って信頼させられるケースが多発した。

実験結果

リサーチクエスチョン

• RQ1 説明は、キャリブレーション済み信頼度スコアのみを提示する場合に比べ、ODQA予測の誤りをユーザーがよりよく検出できるか？
• RQ2 説明戦略の有効性は、音声対話型と視覚的モダリティで異なるか？
• RQ3 各モダリティにおいて、証拠パラグラフ、証拠文、要約的要約のうち、どれが最も高い誤り検出能力を示すか？
• RQ4 一部の説明がなぜ誤った回答を信頼させる原因となるのか。また、モダリティはその要因にどのように影響するか？
• RQ5 認知的負荷と情報密度は、音声的および視覚的インターフェースにおける説明のパフォーマンスにどの程度影響を及ぼすか？

主な発見

• 音声モダリティでは、すべての説明タイプがキャリブレーション済み信頼度スコアのベースラインを著しく上回り、特に抽出文の説明が最も効果的であった。
• 視覚モダリティでは、より長い抽出パラグラフが文長の説明を上回り、視覚的ユーザーはより詳細な証拠から利益を受けることが示された。
• 要約的要約は、より長い説明に比べて正確性を向上させなかったが、ユーザーのタスク時間は2.2秒短縮され、より簡潔であると評価された。
• 改善が見られたにもかかわらず、説明は信頼度ベースラインと同程度、誤った回答を信頼させる原因となった。これは、依然として信頼性の問題が存在することを示している。
• 抽出文の説明は音声モードで最も効果的であり、おそらく認知的負荷が低いためである。一方、より長い説明は視覚的モードでより効果的であり、詳細さと理解可能性の間のモダリティ依存のトレードオフが示された。
• 本研究は、最良の説明戦略が普遍的ではなく、展開時のモダリティに合わせて調整される必要があることを示しており、視覚的のみの評価から生じる仮定に疑問を呈している。