[論文レビュー] Efficient computation of counterfactual explanations of LVQ models

André Artelt, Barbara Hammer|arXiv (Cornell University)|Aug 2, 2019

Explainable Artificial Intelligence (XAI)参考文献 35被引用数 9

ひとこと要約

この論文は、学習ベクトル量子化（LVQ）モデルにおける反事後解釈の計算を、そのプロトタイプベース構造を活用することで、新規で効率的なフレームワークを提案する。局所的またはグローバルなメトリクスに基づいて凸および非凸最適化問題を定式化することで、モデルに依存しない手法よりも高速に計算可能であり、ドメイン制約のサポートも可能である。実験的結果では、顕著な高速化と特徴量の摂動低減が確認された。

ABSTRACT

The increasing use of machine learning in practice and legal regulations like EU's GDPR cause the necessity to be able to explain the prediction and behavior of machine learning models. A prominent example of particularly intuitive explanations of AI models in the context of decision making are counterfactual explanations. Yet, it is still an open research problem how to efficiently compute counterfactual explanations for many models. We investigate how to efficiently compute counterfactual explanations for an important class of models, prototype-based classifiers such as learning vector quantization models. In particular, we derive specific convex and non-convex programs depending on the used metric.

研究の動機と目的

• プロトタイプベースのモデル（LVQを含む）における効率的な反事後解釈手法の不足に応えること。LVQは現在、実世界の意思決定においてますます利用されている。
• LVQの構造的特性を活用した、モデル固有の最適化フレームワークを開発し、より高速かつ現実可能な反事後解釈の生成を実現すること。
• ドメイン知識を制約として統合することで、反事後解釈の妥当性と現実可能性を向上させること。
• モデル固有の手法が、汎用的でモデルに依存しないアプローチに比べ、計算速度および入力変更量の点で優れていることを示すこと。
• 最小かつ実行可能である反事後解釈を生成できるスケーラブルで微分可能なフレームワークを提供すること。

提案手法

• 反事後解釈の生成を、使用されるメトリクス（局所的またはグローバル）に応じて凸または非凸の二次制約付き二次計画問題（QCQP）として定式化する。
• グローバルメトリクスの場合、意思決定境界は線形不等式 $\vec{x}^{\top}\vec{q}_{ij} + r_{ij} < 0$ として表現され、共通の $\mathbf{\Omega}$ 行列を用いたマハラノビス距離から導出される。
• 局所的メトリクスの場合、意思決定境界は $\frac{1}{2}\vec{x}^{\top}\mathbf{Q}_{ij}\vec{x} + \vec{x}^{\top}\vec{q}_{ij} + r_{ij} + \epsilon \leq 0$ の二次形式を含み、ここで $\mathbf{Q}_{ij} = \mathbf{\Omega}_i - \mathbf{\Omega}_j$ である。
• 非凸QCQPはペナルティ凸・凹プロシージャ（CCP）を用いて近似的に解き、各反復で非凸項 $g(\vec{x}') = \frac{1}{2}\vec{x}'^{\top}\mathbf{\Omega}_j\vec{x}'$ を線形化する。
• 正則化関数 $\theta(\cdot)$（例：$\ell_1$ や $\ell_2$）を用いて、入力摂動の大きさを制御し、最小限の変更を促進する。
• ドメイン制約は不等式制約を最適化問題に追加することで統合され、妥当かつ現実可能な反事後解釈の生成が可能になる。

実験結果

リサーチクエスチョン

• RQ1 LVQモデルの反事後解釈を、そのプロトタイプベース構造を活用することで、効率的に計算できるか？
• RQ2 凸および非凸最適化定式化は、LVQ反事後解釈において、速度と摂動の大きさの点でどのように比較されるか？
• RQ3 ドメイン固有の制約を反事後解釈生成プロセスに統合できる範囲はどの程度か、妥当性の向上に寄与するか？
• RQ4 提案手法は、モデルに依存しない反事後解釈手法に比べ、計算効率および必要な特徴量変更量の点でどのように差をつけるか？
• RQ5 ペナルティCCP法は、非凸QCQP定式化をLVQモデルに対して信頼性高く近似できるか？

主な発見

• 提案手法は、特に大規模なLVQモデルにおいて、モデルに依存しない反事後解釈手法に比べ顕著な高速化を達成した。
• フレームワークは、標準的手法に比べて必要な摂動の大きさ（すなわち特徴量の変更）を低減し、より実行可能な反事後解釈をもたらした。
• 非凸QCQP定式化を用いた局所的メトリクスの使用により、意思決定境界のより正確なモデリングが可能となり、反事後解釈の質が向上した。
• ペナルティCCPアプローチは、非凸QCQPの安定的かつ効率的な近似を提供し、最小限の計算オーバーヘッドで実行可能な解に収束した。
• 追加の不等式制約によるドメイン制約の統合により、計算効率を損なわずにより妥当な反事後解釈が得られた。
• 実験的評価により、スケーラビリティが高く、最小かつ意味的に意味のある反事後解釈が生成されることを確認した。