[論文レビュー] Mediators: Conversational Agents Explaining NLP Model Behavior

Nils Feldhus, Ajay Madhavan Ravichandran+1 more|arXiv (Cornell University)|Jun 13, 2022

Topic Modeling被引用数 9

ひとこと要約

この論文は、対話的で自然言語による対話を通じてニューラルNLPモデルの挙動を説明する、メディエーターと呼ばれる会話型エージェントを紹介する。感情分析におけるメディエーターのモジュラーな青写真を提案し、このようなシステムの訓練における主な課題を特定し、HCXAI理論とNLP実践の間のギャップを埋めるために、新たなデータセットと評価手法の開発を呼びかけている。

ABSTRACT

The human-centric explainable artificial intelligence (HCXAI) community has raised the need for framing the explanation process as a conversation between human and machine. In this position paper, we establish desiderata for Mediators, text-based conversational agents which are capable of explaining the behavior of neural models interactively using natural language. From the perspective of natural language processing (NLP) research, we engineer a blueprint of such a Mediator for the task of sentiment analysis and assess how far along current research is on the path towards dialogue-based explanations.

研究の動機と目的

• NLPモデルの解釈可能性における対話ベースの説明の不足に応えること。
• 説明を会話として定式化することで、人間中心の説明可能AI（HCXAI）とNLP研究の間のギャップを埋めること。
• 対話による段階的でユーザー主導の明確化を可能にすることで、ユーザーの認知的負荷を軽減すること。
• 説明生成、理解、会話状態の追跡を支援する、モジュラーで拡張可能なフレームワークを提供すること。
• NLPにおける説明対話に特化した、新たなデータセットと評価プロトコルの必要性を強調すること。

提案手法

• 説明生成、自然言語応答、ユーザー入力理解、会話状態追跡の各モジュールを明確に分離した、モジュラーなメディエーターアーキテクチャの設計。
• 実用的なユースケースとして感情分析にメディエーターフレームワークを適用し、各モジュールが実際にはどのように機能するかを示す。
• モデル内部の説明と自然言語の物語を組み合わせることで、忠実性と説得力の両立を図る、補完的な説明手法の統合。
• ユーザーがフォローアップ質問をし、メディエーターがユーザーのフィードバックに基づいて段階的に説明を洗練させる、対話ベースの説明プロセスの提案。
• 人間同士の説明対話や情報探索型QAデータセットをベースラインとして用い、メディエーターの訓練に向けたデータ収集戦略の提案。
• 開発段階でのメディエーター行動の評価と改善を促進するため、ウォズォブ・オズ研究やユーザーフィードバックメカニズム（例：リッカート尺度評価）を提唱する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして会話型エージェントを設計すれば、NLPモデル挙動の対話的で自然な説明が可能になるか？
• RQ2 対話ベースの説明を支援するためのメディエーターに必要なコアなモジュールとモジュラーなアーキテクチャは何か？
• RQ3 メディエーターは、モデル内部の忠実性と説得力・ユーザー理解の両立をどのように実現できるか？
• RQ4 効果的なNLP用メディエーターを開発するために、どのような訓練データと評価プロトコルが必要か？
• RQ5 メディエーターは、ユーザーの認知的モデルに適応し、段階的な対話によって認知的負荷を軽減するにはどうすればよいか？

主な発見

• HCXAIにおける理論的基盤は強くあるものの、現在のNLP研究はまだ対話ベースの説明の必要性に十分に応えていない。
• 数値的またはアテンションベースの説明よりも、自然言語による説明はより説得力がありアクセスしやすいが、不適切な信頼を引き起こすリスクをはらんでいる。
• 自由テキストモデルでは忠実な説明を達成することが困難であるため、補完的な説明手法の導入が不可欠である。
• 説明対話用の既存データセットは極めて乏しく、情報探索型QAや人間同士の対話データセットは、メディエーターの訓練には部分的にしか適さない。
• メディエーターフレームワークは、ユーザーの期待と認知的モデルに適合させるために、厳密で継続的な評価とユーザーのフィードバックメカニズムを必要とする。
• メディエーターのデータ収集には膨大な作業が伴い、特にユーザーのフィードバックを伴う原子的説明の生成には、カスタムのアノテーションスキームの導入が求められる可能性がある。