[論文レビュー] Exact and Consistent Interpretation for Piecewise Linear Neural Networks: A Closed Form Solution

Lingyang Chu, Hu Xia+3 more|arXiv (Cornell University)|Feb 17, 2018

Explainable Artificial Intelligence (XAI)参考文献 48被引用数 17

ひとこと要約

本稿では、Piecewise Linear Neural Networks (PLNNs)の正確かつ一貫性のある解釈を、等価な局所線形分類器の集合に変換することで、閉形式の手法$OpenBox$を提案する。この手法により、入力領域ごとに正確かつグローバルに一貫性のある特徴の寄与度が得られ、局所近似手法に比べて解釈の正確性とモデルハッキングタスクの性能が向上する。

ABSTRACT

Strong intelligent machines powered by deep neural networks are increasingly deployed as black boxes to make decisions in risk-sensitive domains, such as finance and medical. To reduce potential risk and build trust with users, it is critical to interpret how such machines make their decisions. Existing works interpret a pre-trained neural network by analyzing hidden neurons, mimicking pre-trained models or approximating local predictions. However, these methods do not provide a guarantee on the exactness and consistency of their interpretation. In this paper, we propose an elegant closed form solution named $OpenBox$ to compute exact and consistent interpretations for the family of Piecewise Linear Neural Networks (PLNN). The major idea is to first transform a PLNN into a mathematically equivalent set of linear classifiers, then interpret each linear classifier by the features that dominate its prediction. We further apply $OpenBox$ to demonstrate the effectiveness of non-negative and sparse constraints on improving the interpretability of PLNNs. The extensive experiments on both synthetic and real world data sets clearly demonstrate the exactness and consistency of our interpretation.

研究の動機と目的

• 医療や金融などリスクセンシティブな分野において、深層ニューラルネットワークの正確かつ一貫性のある解釈手法の不足に取り組む。
• 隠れニューロンの分析、モデル蒸留、局所近似など、精度と一貫性に関する理論的保証の欠如する既存の解釈手法の限界を克服する。
• 数学的に厳密な閉形式のソリューションを提供し、PLNNsのグローバルな挙動を解釈し、視覚的に類似した入力同士で解釈の一貫性を保証する。
• 非負制約およびスパarsity制約が、$OpenBox$フレームワークを通じてPLNNsの解釈可能性にどのように寄与するかを調査する。
• $OpenBox$の実用的有用性を、モデルデバッグおよび adversarial 例の分析において示す。

提案手法

• PLNNが入力空間内の凸ポリトープに対応する局所線形分類器（LLC）の集合と数学的に同等であることを証明する。
• 隠れニューロンの活性状態と重み行列を用いて、PLNNから等価なLLCへの変換を定式化する。
• 各LLCの係数を計算する閉形式の解を得ることで、近似を用いず正確かつ効率的な解釈を可能にする。
• 各LLCの意思決定特徴（重み）を用いて、その対応するポリトープ内に属する任意の入力インスタンスの予測を解釈する。
• 非負およびスパarsity制約がPLNNsにおける特徴選択と解釈可能性に与える影響を、$OpenBox$を用いて分析する。
• モデルハッキング実験を通じて手法を検証し、$OpenBox$に基づく解釈がLIMEに比べてより効果的な摂動をもたらすことを示す。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みのPLNNに対して、局所近似やモデル蒸留に依存せずに正確かつ一貫性のある解釈を提供できるか？
• RQ2 PLNNを局所線形分類器の集合として数学的に表現することで、閉形式による解釈を可能にする方法は何か？
• RQ3 PLNNsに非負およびスパarsity制約を適用することで、より意味的で解釈可能な特徴表現が得られるか？
• RQ4 LIMEなどの局所近似手法と比較して、$OpenBox$の解釈品質は、モデルハッキングの有効性という観点でどのように異なるか？
• RQ5 $OpenBox$を用いることで、真の意思決定特徴を特定することで、PLNNsにおける誤分類の診断とデバッグが可能か？

主な発見

• $OpenBox$は、PLNNsを等価な局所線形分類器に変換することで、近似誤差のない正確かつ一貫性のある解釈を実現する。
• 視覚的に類似した入力が同じ凸ポリトープ内にある場合、一貫性の欠如が一般的な局所手法とは異なり、同じ解釈が得られることを保証する。
• 合成データおよび実世界のデータセットの両方において、$OpenBox$はLIMEを上回るモデルハッキング性能を示し、より少ない特徴変更で予測確率の平均変化（CPP）とラベル変更数（NLCI）の両方が向上した。
• FMNIST-1では、予測確率が0.0または1.0に近い場合に勾配情報が少なくなるため、LIMEが困難をきたすが、$OpenBox$の優位性が顕著に現れた。
• 非負およびスパarsity制約を用いて学習されたPLNNsは、$OpenBox$によって明らかにされたように、より意味的で解釈可能な特徴選択を実現した。
• 事例研究では、$OpenBox$が誤分類を正確に診断し、例えばコートと誤分類させたモデルの誤りを引き起こしたネックやショルダーのパターンを特定することで、真の意思決定特徴を特定した。