[論文レビュー] Rationalization: A Neural Machine Translation Approach to Generating Natural Language Explanations

Upol Ehsan, Brent Harrison+2 more|arXiv (Cornell University)|Feb 24, 2017

Explainable Artificial Intelligence (XAI)被引用数 28

ひとこと要約

本稿では、自律エージェントの行動に関する人間らしい自然言語の説明を、内部の状態-行動表現を流暢で直感的な言語に翻訳することで生成する、ニューラル機械翻訳アプローチであるAIリタラライゼーションを提案する。Froggerゲーム環境での評価において、行動宣言型や数値ベースラインと比較して、より満足度が高く効果的な説明を生成し、人間のユーザー満足度と認識された絆を顕著に向上させた。

ABSTRACT

We introduce AI rationalization, an approach for generating explanations of autonomous system behavior as if a human had performed the behavior. We describe a rationalization technique that uses neural machine translation to translate internal state-action representations of an autonomous agent into natural language. We evaluate our technique in the Frogger game environment, training an autonomous game playing agent to rationalize its action choices using natural language. A natural language training corpus is collected from human players thinking out loud as they play the game. We motivate the use of rationalization as an approach to explanation generation and show the results of two experiments evaluating the effectiveness of rationalization. Results of these evaluations show that neural machine translation is able to accurately generate rationalizations that describe agent behavior, and that rationalizations are more satisfying to humans than other alternative methods of explanation.

研究の動機と目的

• 非エキスパートが理解できるように自律エージェントの意思決定を解釈可能にする人間中心の説明生成手法を開発すること。
• 逐次的意思決定システムにおける説明可能AIのギャップを埋めるために、説明を自然言語翻訳としてモデル化すること。
• ニューラル機械翻訳が正確で満足度の高い説明を生成できるかを評価すること。その結果、ユーザーの信頼と絆を高めること。
• 人間が説明の質をどのように評価するかに基づいた、説明可能エージェントの設計原則を同定すること。

提案手法

• Froggerをプレイする際のプレイヤーの説明から自然言語コーパスを収集し、状態-行動ペアとそれに対応する説明の並列データセットを構築する。
• 内部エージェントの状態-行動表現を自然言語の根拠にマッピングするエンコーダ-デコーダ型ニューラルネットワーク（系列対系列モデル）を訓練する。
• 訓練済みモデルを用いて、ゲームプレイ中のエージェント意思決定に対してリアルタイムで自然言語の説明を生成する。
• 人間による研究を通じて、リタラライゼーションと行動宣言型・数値ベースラインの説明を比較し、説明の質を評価する。
• 定性的フィードバックのトピック分析を実施し、満足度の高い説明の特徴を特定する。
• 準実験的データを用いて翻訳の正確性と、文脈的に適切な根拠を生成するモデルのパフォーマンスを評価する。

実験結果

リサーチクエスチョン

• RQ1 ニューラル機械翻訳は、エージェントの内部状態と行動選択を正確に反映する自然言語の説明を効果的に生成できるか？
• RQ2 人間のユーザーは、代替の説明形式と比較して、AIが生成するリタラライゼーションの満足度と質をどのように評価するか？
• RQ3 説明の質に強く影響を与える要因（説明力、共感性、詳細さなど）は何か？
• RQ4 リタラライゼーションの人のようなコミュニケーションスタイルが、ユーザーの絆、信頼、および自律エージェントとの協働意欲にどのように影響するか？

主な発見

• ニューラル機械翻訳に基づくリタラライゼーションシステムは、行動宣言型および数値ベースラインと比較して、満足度が顕著に高いと評価された。
• 参加者は、リタラライズドエージェントの説明が、エージェントの動機と行動を理解するのを助け、絆や信頼感を高めたと報告した。
• 満足度の高い説明の主な特徴として、説明力、共感性、遊び心のあるトーン、適切な詳細さが挙げられ、一部のユーザーは簡潔さと深さのバランスを好んだ。
• 行動宣言型ロボットでさえ自然言語を使用していたが、情報量が少なく不満だったと感じられ、言語的形式よりも説明の内容の重要性が浮き彫りになった。
• トピック分析から、人間らしいコミュニケーションスタイル（認識された個性や遊び心）が、ユーザーの関与度と満足度に顕著に寄与することが明らかになった。
• 本研究の結果は、AIリタラライゼーションが非エキスパートユーザーにとってのアクセシビリティと使いやすさを向上させる、実用的で人間中心の説明可能AIの有効なアプローチであることを支持する。