[論文レビュー] Sequential Explanations with Mental Model-Based Policies

Arnold YS Yeung, Shalmali Joshi+2 more|arXiv (Cornell University)|Jul 17, 2020

Explainable Artificial Intelligence (XAI)参考文献 31被引用数 4

ひとこと要約

本稿では、ユーザーの進化する認知的モデルに適合した逐次的説明を生成する強化学習フレームワークを提案する。ユーザーの理解度を行動的プロキシで観測することで、ランダム選択よりもシミュレータビリティをより効果的に向上させる説明を選択し、特にプロトタイプ型および組み合わせ型説明において解釈可能性が向上する。

ABSTRACT

The act of explaining across two parties is a feedback loop, where one provides information on what needs to be explained and the other provides an explanation relevant to this information. We apply a reinforcement learning framework which emulates this format by providing explanations based on the explainee's current mental model. We conduct novel online human experiments where explanations generated by various explanation methods are selected and presented to participants, using policies which observe participants' mental models, in order to optimize an interpretability proxy. Our results suggest that mental model-based policies (anchored in our proposed state representation) may increase interpretability over multiple sequential explanations, when compared to a random selection baseline. This work provides insight into how to select explanations which increase relevant information for users, and into conducting human-grounded experimentation to understand interpretability.

研究の動機と目的

• 説明者と説明を受け手の間のフィードバックループとして説明をモデル化することにより、ユーザー中心の説明設計におけるギャップを埋める。
• 説明を受け手の現在の認知的モデルに基づいて動的に説明を選択することで、ブラックボックスモデルの解釈可能性を向上させる。
• 認知的モデルに基づく方策が、逐次的説明におけるユーザーのシミュレータビリティを向上させる点でランダム選択を上回るかどうかを評価する。
• MTurkを用いてオンライン人間実験を実施し、実際のユーザー行動に基づいて解釈可能性指標を実証的に裏付ける。
• 実験的認知的モデル観測を強化学習フレームワークにおける状態表現として使用する可能性を検討する。

提案手法

• フレームワークは、エージェントが観測されたユーザー認知的モデルに基づいて説明を選択する強化学習を用いて、説明を逐次的意思決定プロセスとしてモデル化する。
• 認知的モデルは、オンライン人間実験中に測定されたユーザーの反応やインタラクションパターンなどの行動的プロキシによって表現される。
• シミュレータビリティプロキシを報酬信号として用い、解釈可能性への期待影響に基づき、複数の説明タイプ（例：サリエンシーマップ、プロトタイプ、組み合わせ）から説明を選択する方策を採用する。
• 説明は、既存の手法を用いて生成される：サリエンシーマップにはディープターレイの分解法、局所的表現にはプロトタイプベースの手法を用いる。
• オンライン実験はAmazon MTurkで実施され、参加者が順次説明と対話し、その理解度はシミュレータビリティスコアで測定された。
• Cohenのd効果量を計算して、認知的モデルに基づく方策とランダムベースラインとの間のシミュレータビリティ向上の大きさを評価した。

実験結果

リサーチクエスチョン

• RQ1 ユーザーの進化する認知的モデルに適応する強化学習方策が、逐次的説明における解釈可能性を向上させることができるか？
• RQ2 ユーザーのシミュレータビリティという観点から、認知的モデルに基づく説明方策の性能はランダム選択と比べてどの程度優れているか？
• RQ3 異なる説明タイプ（例：サリエンシーマップ対プロトタイプ）は、認知的モデルに基づく選択において、その有効性に差を示すか？
• RQ4 認知的モデル観測によって、無関係な情報がどれほど削減され、理解度が時間経過とともにどの程度向上するか？
• RQ5 説明の多様性と補完性は、長期的な解釈可能性の向上にどのような影響を及えるか？

主な発見

• 認知的モデルに基づく方策は、特にプロトタイプ型および組み合わせ型説明において、ランダム選択と比較してシミュレータビリティスコアを有意に向上させた。
• 認知的モデルに基づく方策の効果量（Cohen’s d）は中程度から大程度（d > 0.5）であり、解釈可能性の意味的な向上を示している。
• サリエンシーマップに基づく方策では、認知的モデルベースとランダムベースラインとの間で性能に差がなく、この説明タイプでは限定的な利益が得られたと考えられる。
• サリエンシーマップおよびプロトタイプ実験におけるシミュレータビリティスコアの頭打ち現象は、複数の説明後における限界効果や認知的負荷の増大を示唆している可能性がある。
• 組み合わせ型説明では頭打ちが認められなかったため、多様な説明タイプが相互に補完的情報を提供し続け、解釈可能性の向上を継続的に維持している可能性がある。
• シミュレータビリティスコアの高い標準誤差は、ユーザー反応のばらつきを示しており、オンライン実験でモニタリングされていない疲労、注意の逸脱、個々の差異が主な要因と考えられる。