[論文レビュー] TED: Teaching AI to Explain its Decisions

Michael Hind, Dennis Wei+6 more|arXiv (Cornell University)|Nov 12, 2018

Explainable Artificial Intelligence (XAI)参考文献 32被引用数 17

ひとこと要約

本論文では、ラベル付きの意思決定例とその説明のペairを学習することで、意思決定と人間が理解可能な説明を同時に予測するように機械学習モデルを訓練するフレームワークTED（Teaching Explanations for Decisions）を紹介する。モデル内省的手法とは異なり、TEDは最終ユーザーの認知的複雑さとドメイン知識に一致した説明を提供し、2つの実世界の事例において性能を損なうことなく高い予測精度を達成している。

ABSTRACT

Artificial intelligence systems are being increasingly deployed due to their potential to increase the efficiency, scale, consistency, fairness, and accuracy of decisions. However, as many of these systems are opaque in their operation, there is a growing demand for such systems to provide explanations for their decisions. Conventional approaches to this problem attempt to expose or discover the inner workings of a machine learning model with the hope that the resulting explanations will be meaningful to the consumer. In contrast, this paper suggests a new approach to this problem. It introduces a simple, practical framework, called Teaching Explanations for Decisions (TED), that provides meaningful explanations that match the mental model of the consumer. We illustrate the generality and effectiveness of this approach with two different examples, resulting in highly accurate explanations with no loss of prediction accuracy for these two examples.

研究の動機と目的

• 高リスク分野におけるAIシステムが意思決定について「意味のある情報」を提供するという、社会的・規制的要請の増大に応えること。
• 非専門家ユーザーには理解しにくい内部モデルのメカニズムを露呈するモデル内省的手法の限界を克服すること。
• 最終ユーザーの認知的複雑さとドメイン理解に適合した説明を生成する、実用的で一般化可能なフレームワークを開発すること。
• 説明生成が下位の機械学習モデルの予測精度を低下させないことを保証すること。
• 説明形式をモデルアーキテクチャから分離することで、スケーラブルかつ柔軟な説明生成を可能とし、多様な説明タイプをサポートすること。

提案手法

• 各サンプルが入力特徴（X）、意思決定ラベル（Y）、および人間が提供した説明（E）を含むデータセット上で、(Y, E)の共同予測タスクを実行する共同分類器を訓練する。
• クラスラベル（Y）と説明オプション（E）のカルテジアン積を用いて、訓練のための統一された多値分類問題を構築する。
• 任意の標準的な教師あり学習アルゴリズム（例：ランダムフォレスト、ニューラルネットワーク）を用い、入力Xから意思決定Yおよび説明Eへの共同マッピングを学習する。
• テキスト、記号的表現、構造化形式のいずれの形式でも説明を許容するが、列挙可能で意味的に明確に区別可能であること。
• 異なるユーザーの専門知識水準に合わせて、同じ意思決定に対して複数の説明バリエーションを提供できるように、説明のパーソナライズを可能にする。
• 単語埋め込みやドメイン固有の言語（DSL）などの技術を活用し、説明の多様性を管理し、類似する説明間での一般化を向上させる。

実験結果

リサーチクエスチョン

• RQ1 AIシステムは、正確さに加え、非専門家ユーザーにとっても意味的で理解可能な説明をどのように生成できるか？
• RQ2 機械学習モデルを、意図した聴衆の認知的複雑さとドメイン知識に一致する説明を生成できるように訓練できるか？
• RQ3 意思決定と説明の共同学習が、従来のモデルと説明の分離手法と比較して、モデルの予測精度に与える影響は何か？
• RQ4 多様なユーザーのプロファイルと応用分野にわたって、効率的かつスケーラブルに説明を生成するにはどうすればよいか？
• RQ5 完全な人間アノテーション付きの説明が入手できない場合、説明データセットを構築または拡充するにはどのような戦略が有効か？

主な発見

• TEDフレームワークは、最終ユーザーのメンタルモデルと強く一致する説明を効果的に生成し、予測精度を損なうことなく信頼性と解釈可能性を向上させた。
• 2つの実世界の事例において、共同予測モデルは意思決定と説明生成の両方で高い精度を達成しており、標準モデルと比較して性能に劣化がなかった。
• 本アプローチは汎用性とシンプルさを示しており、自由テキストや構造化された説明を含む、さまざまなドメインと説明形式で効果的に機能した。
• フレームワークは、異なる専門知識水準のユーザーに適した同じ意思決定に対する複数の説明バリエーションを提供できるため、パーソナライズをサポートしている。
• 共同学習のためのカルテジアン積アプローチは、説明オプションの数が多くても実際の運用で効果的にスケーリング可能であり、計算的にも実行可能である。
• 外部知識ソースの利用、少数の例による学習、アクティブラーニングなどの今後の拡張策は、説明データ収集のアノテーション負荷を軽減するのに役立つ可能性がある。