[論文レビュー] Natively Interpretable Machine Learning and Artificial Intelligence: Preliminary Results and Future Directions

Christopher J. Hazard, Christopher Winter Fusting+4 more|arXiv (Cornell University)|Jan 2, 2019

Explainable Artificial Intelligence (XAI)参考文献 51被引用数 11

ひとこと要約

本論文は、k近傍法（kNN）と情報理論を統合することで、データ駆動型の推論により追跡可能で監査可能な意思決定を可能にする、ネイティブに解釈可能な機械学習フレームワークを提案する。不確実性を考慮した距離尺度のための分数およびゼロp値を導入することで、分類（AUC最高0.78）および回帰（決定係数最高0.66）の両方においてkNNの精度が向上し、同時にオンライン学習、データ補完、合成データ生成を損なわずに行える。

ABSTRACT

Machine learning models have become more and more complex in order to better approximate complex functions. Although fruitful in many domains, the added complexity has come at the cost of model interpretability. The once popular k-nearest neighbors (kNN) approach, which finds and uses the most similar data for reasoning, has received much less attention in recent decades due to numerous problems when compared to other techniques. We show that many of these historical problems with kNN can be overcome, and our contribution has applications not only in machine learning but also in online learning, data synthesis, anomaly detection, model compression, and reinforcement learning, without sacrificing interpretability. We introduce a synthesis between kNN and information theory that we hope will provide a clear path towards models that are innately interpretable and auditable. Through this work we hope to gather interest in combining kNN with information theory as a promising path to fully auditable machine learning and artificial intelligence.

研究の動機と目的

• 本質的に解釈可能で、トレーニングデータに直接追跡可能かつ最小限の仮定に依存する機械学習フレームワークの開発を目的とする。
• kNNの歴史的限界（計算コスト、次元の呪い、特徴量スケーリングへの感受性）を情報理論との統合によって克服することを目的とする。
• ターゲットレスkNNアーキテクチャを用いて、オンライン学習、データ補完、および合成データ生成（エクスキューテーション）を可能とすることを目的とする。
• 最小限の仮定と直接的なデータトレーサビリティを用いて、完全に監査可能で解釈可能な人工知能の基盤を構築することを目的とする。

提案手法

• すべての他の特徴量を用いて任意の特徴量を予測するターゲットレスkNNモデルを提案し、柔軟で文脈に適した推論を可能にする。
• 距離尺度における不確実性を表現するための分数およびゼロp値を導入し、データスケーリングなしで確率論的推論を可能にする。
• 最大エントロピー原理を用いて局所的なデータ領域をモデル化し、解釈可能性を高め、仮定を最小限に抑える。
• 階層的クラスタリングとプロトタイプ選択を用いて次元削減とモデル複雑性の低減を図りつつ、解釈可能性を維持する。
• ゼロp値を用いたLebesgue空間を用いて極端なデータ領域をモデル化し、外挿（エクスキューテーション）を支援する。
• kNNと情報理論的原則を統合し、エントロピーのフラックスを計算し、階層的モデル解釈を支援する。

実験結果

リサーチクエスチョン

• RQ1 情報理論的強化によって、kNNの精度とスケーラビリティを向上させつつ、ネイティブな解釈可能性を維持できるか？
• RQ2 分数およびゼロp値を用いて距離尺度の不確実性をどのようにモデル化できるか、予測の信頼性を向上させられるか？
• RQ3 ターゲットレスkNNは、オンライン学習、データ補完、および合成データ生成（エクスキューテーション）をどの程度可能にするか？
• RQ4 kNNと最大エントロピー原理を統合することで、正確かつ監査可能なモデルを構築できるか？
• RQ5 Lebesgue空間におけるゼロp値の使用は、階層的モデルアーキテクチャおよび性能にどのように関連するか？

主な発見

• 分数およびゼロp値を用いることで、kNN分類の精度が0.76から0.78に向上し、統計的に有意な向上（p ≪ .001）を示した。
• 不確実性を考慮したp値を組み込むことで、kNN回帰の性能が決定係数0.53から0.66に向上し、顕著な改善（p ≪ .001）を示した。
• 意思決定がトレーニングデータポイントに直接追跡可能であり、完全な監査可能性と説明可能性を支援する。
• ターゲットレスkNNは、明確な履歴を伴うデータ補完を可能とし、トレーニングデータの範囲外での合成データ生成（エクスキューテーション）を可能にする。
• kNNと情報理論の統合により、追加の仮定を必要とせず、階層的モデリングとエントロピーに基づく説明が可能になる。
• 本手法により、kNNが最先端のモデルと競合可能な性能を発揮しながらも、解釈可能性と最小限の仮定を維持できることを示した。