[論文レビュー] Counterfactual Explanations of Concept Drift

Fabian Hinder, Barbara Hammer|arXiv (Cornell University)|Jun 23, 2020

Data Stream Mining Techniques参考文献 28被引用数 4

ひとこと要約

本稿は、対向的説明を用いて時間経過に伴う特徴的データサンプルを特定・追跡することで、機械学習における概念ずれを説明するための新規フレームワークを提示する。ずれを代表的プロトタイプの変化として形式化し、特にリサンプリングと重み付けを組み合わせた場合に、ベースラインを上回る効率的なアルゴリズムを提案。この手法により、モデルの解釈性が向上し、生涯学習システムにおける人的介入を支援する。

ABSTRACT

The notion of concept drift refers to the phenomenon that the distribution, which is underlying the observed data, changes over time; as a consequence machine learning models may become inaccurate and need adjustment. While there do exist methods to detect concept drift or to adjust models in the presence of observed drift, the question of explaining drift has hardly been considered so far. This problem is of importance, since it enables an inspection of the most prominent features where drift manifests itself; hence it enables human understanding of the necessity of change and it increases acceptance of life-long learning models. In this paper we present a novel technology, which characterizes concept drift in terms of the characteristic change of spatial features represented by typical examples based on counterfactual explanations. We establish a formal definition of this problem, derive an efficient algorithmic solution based on counterfactual explanations, and demonstrate its usefulness in several examples.

研究の動機と目的

• 適応的機械学習システムにおける人間の理解と介入を妨げる、概念ずれの説明可能な手法の不足に対処すること。
• 統計的変化にとどまらず、時間経過に伴う代表的データサンプル（プロトタイプ）の進化として、概念ずれを形式化すること。
• 変化が最も顕著に反映される特徴的なデータポイントを特定・追跡する効率的なアルゴリズムを開発すること。
• 重要なプロトタイプの進化を可視化することで、モデルの適応が必要な理由を人間ユーザーが検査・理解できるようにすること。
• 既知および未知の真値を持つ合成データおよび実世界のデータセットを用いて、本手法の頑健性と有効性を評価すること。

提案手法

• 時間経過に伴う特徴的データポイント（プロトタイプ）の変化として概念ずれを形式化し、対向的推論を用いて、サンプルの分類や行動がどのように・なぜ変化するかを説明する。
• 識別性（i）と一貫性（C）の2つの指標を定義し、ずれ関連の変化を捉える能力を評価する。
• k-means、アフィニティプロパゲーション、メアンシフトなどのクラスタリング手法にリサンプリングと重み付けを適用し、特に高次元または重複するデータにおいてプロトタイプ選定を改善する。
• 2段階のプロセスを採用：まずクラスタリングにより候補プロトタイプを特定し、次に対向的摂動を用いて感度を評価することで、それらを精錬する。
• 特に複雑またはノイズの多い分布においても、安定性と代表性を高めるためにリサンプリングと重み付けを活用する。
• 合成データ（真値が既知）と実世界のデータセット（digits, wine, boston, diabetes, faces）を用い、30回の実行で手法を比較評価する。

実験結果

リサーチクエスチョン

• RQ1 統計的シフトにとどまらず、代表的データサンプルの変化を通じて、概念ずれをどのように意味的に説明できるか？
• RQ2 どのクラスタリングおよび精錬戦略が、ずれの背後にある本質を最も明確に反映するプロトタイプを特定するか？
• RQ3 リサンプリングと重み付けは、ずれの説明における識別性と一貫性の両面で、検出されたプロトタイプの性能をどの程度向上させるか？
• RQ4 k-means、アフィニティプロパゲーション、メアンシフトなどの異なるアルゴリズムは、多様なデータ分布において、ずれ関連プロトタイプをどの程度効果的に検出できるか？
• RQ5 提案手法により、人間ユーザーがプロトタイプの進化を可視化することで、モデルがなぜ適応を必要としているかを直感的に理解できるか？

主な発見

• リサンプリングと重み付けを組み合わせたアフィニティプロパゲーションおよびk-meansは、すべてのベンチマークデータセットでベースライン手法を一貫して上回った。
• digitsおよびfacesデータセットでは、リサンプリングと重み付けを施したk-meansが、それぞれ平均識別性スコア0.84および0.80を達成し、ベースラインk-means（0.49および0.29）を顕著に上回った。
• アフィニティプロパゲーションはdigitsデータセットで最高の平均識別性（0.87）を記録し、顕著なずれパターンの検出性能を示した。
• メアンシフトは回帰および高クラスデータセット（例：faces）で高い分散と低い性能（例：0.34）を示し、プロトタイプ選定の不安定性が顕在化した。
• 真値が既知の合成データでは、リサンプリングが識別性（i）を顕著に向上させたが、次元数は特に高次元正規分布において一貫性（C）に顕著な影響を及ぼした。
• 識別性（i）に注力することが、一貫性（C）を直接最適化するよりも効果的であるという結果が示された。これは、Cの最適化が密度推定誤差に上回られる可能性があるためである。