[論文レビュー] Understanding Prediction Discrepancies in Machine Learning Classifiers

Xavier Renard, Thibault Laugel+1 more|arXiv (Cornell University)|Apr 12, 2021

Explainable Artificial Intelligence (XAI)参考文献 12被引用数 6

ひとこと要約

本稿では、同じデータで訓練された高精度な分類器同士の局所的予測不一致を検出し、説明するモデルに依存しない手法であるDIG（Discrepancy Intervals Generation）を提案する。訓練データを活用して特徴ごとの不一致領域を特定することで、DIGは実行可能で局所的な説明を提供し、実務家が高リスクの予測を回避し、より良いモデル選択を下すのを支援する。評価では、検証セットにおいてモデル間で10.64%〜28.81%の不一致が確認された。

ABSTRACT

A multitude of classifiers can be trained on the same data to achieve similar performances during test time, while having learned significantly different classification patterns. This phenomenon, which we call prediction discrepancies, is often associated with the blind selection of one model instead of another with similar performances. When making a choice, the machine learning practitioner has no understanding on the differences between models, their limits, where they agree and where they don't. But his/her choice will result in concrete consequences for instances to be classified in the discrepancy zone, since the final decision will be based on the selected classification pattern. Besides the arbitrary nature of the result, a bad choice could have further negative consequences such as loss of opportunity or lack of fairness. This paper proposes to address this question by analyzing the prediction discrepancies in a pool of best-performing models trained on the same data. A model-agnostic algorithm, DIG, is proposed to capture and explain discrepancies locally, to enable the practitioner to make the best educated decision when selecting a model by anticipating its potential undesired consequences. All the code to reproduce the experiments is available.

研究の動機と目的

• 複数の分類器が類似した性能を示すが、予測で不一致を示す場合の解釈可能性の欠如に対処すること。
• 同じデータセットで訓練されたモデル間で、特に予測が不一致となる領域における局所的予測不一致を特定・説明すること。
• 意思決定支援のための、特徴レベルの実行可能な不一致の説明を提供すること。
• モデル選択による不正や機会喪失などの否定的影響を事前に予測できるようにすること。
• 集計指標にとどまらず、局所的かつ根拠に基づいたモデル不一致の説明を提供することで、モデルの信頼性を向上させること。

提案手法

• DIGは、データポイントをノードとし、特徴の近接性に基づいて類似したインスタンス同士を接続するグラフ表現を訓練データに基づいて構築する。
• 同じデータポイントに対して複数のモデルが出力する予測を比較することで、予測が分散する「不一致ノード」を同定する。
• 各インスタンスについて、精錬されたグラフ上でk-NNを用いて不一致区間を計算し、モデル不一致が生じる特徴値の範囲を捉える。
• アルゴリズムは、最も近い不一致区間を統合することで、特定の予測における局所的不一致の包括的で特徴別説明を提供する。
• モデルの内部構造にアクセスする必要なく、訓練データを活用して不一致領域を発見するため、モデルに依存せず、計算効率も確保される。
• 不一致ノードに対してクラスタリング（例：t-SNEおよびk-means）を実施し、特徴空間における不一致の空間的パターンを可視化・理解する。

実験結果

リサーチクエスチョン

• RQ1 同じデータで訓練された高精度な分類器が、全体的な性能は類似しているにもかかわらず、なぜ顕著な局所的予測不一致を示すのか。
• RQ2 入力空間におけるどの特徴や領域がモデル不一致の主な要因となっているのか。
• RQ3 モデル固有の内部構造に依存せずに、局所的かつ実行可能な不一致の説明を生成できるか。
• RQ4 実務家は不一致の説明をどのように活用し、高リスクの予測を回避したり、モデルの信頼性を向上させたりできるか。
• RQ5 不一致の空間的・構造的パターンは何か。また、それらは可視化可能であり、データ収集やモデルの最適化を支援できるか。

主な発見

• テストされたデータセットでは、性能差が5%未塔の最良の分類器同士が、検証インスタンスの10.64%〜28.81%で不一致を示しており、予測不一致の広がりが顕著であることがわかった。
• 『平均部屋数（RM）』や『人口一人当たりの犯罪率（CRIM）』といった特徴が、一貫して局所的モデル不一致の主な要因として特定された。
• 不一致領域は、主にクラス間の境界領域に集中しており、ほとんどの場合、1つの大きな不規則な不一致ゾーンを形成していた。
• クラスタリング解析により、CRIM値が3を超える領域など、孤立した高不一致領域が特定され、これらは訓練データに過小に反映されており、モデルの不安定性を引き起こしやすいことがわかった。
• 各インスタンスについて、最も近い10個の不一致区間を統合することで、単一の区間よりも包括的かつ信頼性の高い説明が得られた。
• DIGは、実行可能な不一致パターンを効果的に同定し、実務家が高不一致領域でのデータ収集を優先したり、特別な注意を払うように支援できることが確認された。