[論文レビュー] Why Interpretability in Machine Learning? An Answer Using Distributed Detection and Data Fusion Theory

Kush R. Varshney, Prashant Khanduri+3 more|arXiv (Cornell University)|Jun 25, 2018

Distributed Sensor Networks and Detection Algorithms参考文献 17被引用数 9

ひとこと要約

本稿では、人間とAIの意思決定システムにおいて、解釈可能な機械学習モデルがブラックボックスモデルを上回ることを主張している。人間とAIの協働をテイリング型データ統合システムとしてモデル化し、集団設定下での分散検出理論を用いて、多段階量子化（解釈可能なモデルを表す）が二値量子化（ブラックボックスモデルを表す）よりも誤り率が低いことを理論的に証明している。これにより、統合された人間-AI意思決定における解釈可能性の理論的優位性が示された。

ABSTRACT

As artificial intelligence is increasingly affecting all parts of society and life, there is growing recognition that human interpretability of machine learning models is important. It is often argued that accuracy or other similar generalization performance metrics must be sacrificed in order to gain interpretability. Such arguments, however, fail to acknowledge that the overall decision-making system is composed of two entities: the learned model and a human who fuses together model outputs with his or her own information. As such, the relevant performance criteria should be for the entire system, not just for the machine learning component. In this work, we characterize the performance of such two-node tandem data fusion systems using the theory of distributed detection. In doing so, we work in the population setting and model interpretable learned models as multi-level quantizers. We prove that under our abstraction, the overall system of a human with an interpretable classifier outperforms one with a black box classifier.

研究の動機と目的

• モデルの正解率だけではなく、AIシステムにおける解釈可能性の向上という急増するニーズに応えること。
• 人間-AI意思決定プロセスを、人間が機械学習モデルからの情報を統合する二ノードのテイリング型データ統合システムとしてモデル化すること。
• 解釈可能なモデル（多段階量子化として抽象化）が、ブラックボックスモデルと比較して、全体のシステム意思決定の正確性を向上させるかどうかを調査すること。
• 集団設定下での分散検出およびデータ統合理論を用いて、解釈可能性の理論的基盤を確立すること。
• 人間-AI協働における性能評価基準として、単なるモデルの正解率ではなく、全体のシステム性能を採用すべきであることを示すこと。

提案手法

• 人間-AI意思決定システムを、二ノードのテイリング型センサーネットワークとしてモデル化：機械学習モデルがデータから学習し、量子化された出力を人間に送信する。
• 解釈可能なモデルを尤度比統計量の多段階量子化器として抽象化し、ブラックボックスモデルを二値量子化器としてモデル化する。
• 集団設定を用いることで真のデータ分布にアクセスでき、有限標本バイアスのない漸近的性能分析が可能になる。
• 誤り率のシステムレベル比較に、チェルノフ情報（Chernoff information）を性能指標として用いる。
• 分散検出理論の結果（例：Varshney, 1997；Zhu & Chen, 2013）を活用し、十分統計量の量子化が最適推論性能を保持することを示す。
• 二つ以上の量子化レベルを持つシステムが、より高いチェルノフ情報を達成することを証明し、最終的人間意思決定におけるベイズ誤り率が低くなることを示唆する。

実験結果

リサーチクエスチョン

• RQ1 解釈可能な機械学習モデルを用いることで、ブラックボックスモデルと比較して、人間-AI意思決定システム全体の性能が向上するか？
• RQ2 モデル出力における量子化レベルの数が、人間-AIテイリング統合アーキテクチャにおけるシステムレベル誤り率にどのように影響するか？
• RQ3 分散検出理論を用いて、人間-AI協働における解釈可能なモデルの性能優位性を形式的に特徴づけられるか？
• RQ4 人間とモデルの観測が条件付き独立である場合でも、解釈可能性による性能向上は頑健か？
• RQ5 集団設定が、解釈可能モデルとブラックボックスモデルの理論的比較の妥当性にどのように影響するか？

主な発見

• 解釈可能なモデル（多段階量子化器としてモデル化）は、ブラックボックスモデル（二値量子化）と比較して、クラス条件付き分布間のチェルノフ情報が高くなる。
• 高いチェルノフ情報は、全体の人間-AIシステムにおけるベイズ誤り率が低くなることを意味し、解釈可能なモデルがより優れたシステムレベル性能を達成することを証明する。
• 人間と機械の観測が条件付き独立であるという仮定のもとで理論的優位性が成立し、依存する場合にも同様の結果が成立すると推測されている。
• 集団設定により、十分統計量の量子化と原始的特徴量の量子化が等価になることが保証され、有限標本効果によるバイアスのない性能比較が可能になる。
• 解釈可能性による性能向上は、モデルの内在的正解率が高いためではなく、より豊富な情報伝達が人間の統合をより良く可能にするためであることが分析で示された。
• 同じモデルの内在的正解率であっても、人間が多段階出力を受信することで、情報統合および推論能力が向上することが示唆された。