[論文レビュー] TalkToModel: Explaining Machine Learning Models with Interactive Natural Language Conversations

Dylan Slack, Satyapriya Krishna+2 more|arXiv (Cornell University)|Jul 8, 2022

Explainable Artificial Intelligence (XAI)被引用数 6

ひとこと要約

TalkToModelは、自然言語対話型システムを導入し、大規模言語モデルを用いて自然言語を実行可能命令に変換することで、機械学習モデルの説明を会話形式で行えるようにする。評価では、医療従事者の73％が既存のツールよりもTalkToModelを好んだ。機械学習専門家の85％は、モデル説明のツールとしてTalkToModelが使いやすかったと回答した。これは、直感的で柔軟なモデル解釈の有効性を示している。

ABSTRACT

Machine Learning (ML) models are increasingly used to make critical decisions in real-world applications, yet they have become more complex, making them harder to understand. To this end, researchers have proposed several techniques to explain model predictions. However, practitioners struggle to use these explainability techniques because they often do not know which one to choose and how to interpret the results of the explanations. In this work, we address these challenges by introducing TalkToModel: an interactive dialogue system for explaining machine learning models through conversations. Specifically, TalkToModel comprises of three key components: 1) a natural language interface for engaging in conversations, making ML model explainability highly accessible, 2) a dialogue engine that adapts to any tabular model and dataset, interprets natural language, maps it to appropriate explanations, and generates text responses, and 3) an execution component that constructs the explanations. We carried out extensive quantitative and human subject evaluations of TalkToModel. Overall, we found the conversational system understands user inputs on novel datasets and models with high accuracy, demonstrating the system's capacity to generalize to new situations. In real-world evaluations with humans, 73% of healthcare workers (e.g., doctors and nurses) agreed they would use TalkToModel over baseline point-and-click systems for explainability in a disease prediction task, and 85% of ML professionals agreed TalkToModel was easier to use for computing explanations. Our findings demonstrate that TalkToModel is more effective for model explainability than existing systems, introducing a new category of explainability tools for practitioners. Code & demo released here: https://github.com/dylan-slack/TalkToModel.

研究の動機と目的

• 複雑で透徹の見えない機械学習モデルが実務者にとって解釈しにくいという課題に対処すること。
• 技術的専門知識を要する既存の解釈ツールの限界を克服し、動的でフォローアップ質問に対応できない点を改善すること。
• 直感的で会話形式の探索が可能な、インタラクティブで自然言語ベースのシステムを設計し、モデルの予測や挙動を理解することを可能にすること。
• モデルの特徴、予測、および反事実的状況に関する柔軟で文脈に配慮した対話によって、異なる分野のユーザーの多様なニーズに対応すること。
• 医療分野および機械学習専門家を対象とした実世界の設定で、システムの使いやすさと有効性を評価すること。

提案手法

• 対話エンジンは、大規模言語モデルを用いてユーザーの自然言語発話（utterances）を、モデル操作に適したSQLに類似した実行可能言語に解析する。
• 実行エンジンは、こうした解析済みコマンドを処理し、特徴量の重要度、反事実的状況、予測変化などの説明を計算する。
• システムは複数回の会話（multi-turn）をサポートし、文脈を維持することでフォローアップ質問に正確に対応する。
• 特徴量の重要度、反事実的生成、予測変化、モデル定義に関する照会など、幅広い分析タイプをサポートする。
• ピン留めされたメッセージや「ヘルプを生成」ボタンといった機能を含むインターフェースにより、ユーザーが質問をどう立てればよいかを支援する。
• 任意のテーブル形式データセットおよび分類器と連携できるように設計されており、モデルクラスやデータタイプにかかわらず広範な適用性を有する。

実験結果

リサーチクエスチョン

• RQ1 自然言語対話型システムは、機械学習モデルの予測について、開かれた形式で文脈に配慮した会話に対応できるか？
• RQ2 モデル説明のための対話型インターフェースは、従来のクリックポイント型ダッシュボードと比較して使いやすさに優れているか？
• RQ3 医療従事者と機械学習専門家といった、異なる専門知識レベルのユーザーが、モデル挙動を理解するためにこのシステムを効果的に使用できるか？
• RQ4 反事実的推論や特徴量の影響といった、複雑なフォローアップ質問について、システムがどの程度対応できるか？
• RQ5 異なるモデルタイプやデータドメインにわたって、システムはどの程度一般化できるか？

主な発見

• 医療従事者の73％が、疾患予測モデルを理解するための既存システムよりもTalkToModelを好むと回答した。
• 機械学習専門家の85％が、モデル説明のツールとしてTalkToModelが現在のツールよりも使いやすかったと回答した。
• システムは多様な自然言語クエリ、特に複雑なフォローアップ質問を正確に解釈し、文脈に配慮した応答を生成した。
• ユーザーは単純な会話形式のやり取りにより、反事実的推論や特徴量の影響評価といった高度な分析を実行できた。
• システムは異なるモデルクラスやデータタイプにわたって強く一般化し、幅広い説明タスクをサポートした。
• 大規模言語モデルによる意図解析の統合により、技術的専門知識がなくても、正確で柔軟なユーザークエリの解釈が可能になった。