[論文レビュー] Interpreting Neural Networks Using Flip Points

Roozbeh Yousefzadeh, Dianne P. O’Leary|arXiv (Cornell University)|Mar 21, 2019

Adversarial Robustness in Machine Learning参考文献 25被引用数 6

ひとこと要約

この論文では、クラス間の決定境界上にある入力（フラップポイント）を用いて、訓練済みニューラルネットワークを解釈するモデルに依存しない手法を提案する。任意の入力に対して、最も近いフラップポイントを求める適切に定式化された最適化問題を解くことで、信頼性の高い信頼度測度が得られ、影響力のある特徴量の特定、バイアスの検出、 adversarial およびデータ拡張の洞察が可能となり、予測の信頼性を評価する際、ソフトマックススコアを上回る。

ABSTRACT

Neural networks have been criticized for their lack of easy interpretation, which undermines confidence in their use for important applications. Here, we introduce a novel technique, interpreting a trained neural network by investigating its flip points. A flip point is any point that lies on the boundary between two output classes: e.g. for a neural network with a binary yes/no output, a flip point is any input that generates equal scores for "yes" and "no". The flip point closest to a given input is of particular importance, and this point is the solution to a well-posed optimization problem. This paper gives an overview of the uses of flip points and how they are computed. Through results on standard datasets, we demonstrate how flip points can be used to provide detailed interpretation of the output produced by a neural network. Moreover, for a given input, flip points enable us to measure confidence in the correctness of outputs much more effectively than softmax score. They also identify influential features of the inputs, identify bias, and find changes in the input that change the output of the model. We show that distance between an input and the closest flip point identifies the most influential points in the training data. Using principal component analysis (PCA) and rank-revealing QR factorization (RR-QR), the set of directions from each training input to its closest flip point provides explanations of how a trained neural network processes an entire dataset: what features are most important for classification into a given class, which features are most responsible for particular misclassifications, how an adversary might fool the network, etc. Although we investigate flip points for neural networks, their usefulness is actually model-agnostic.

研究の動機と目的

• 医療や刑事司法など、高リスクな応用分野におけるニューラルネットワークの解釈可能性の欠如に取り組む。
• 出力クラスを反転させる最も近い入力を特定することで、予測を解釈するモデルに依存しない手法を開発する。
• 個々の予測に対してソフトマックススコアよりも信頼性の高い信頼度測度を提供する。
• 分類意思決定に影響を与える主なトレーニングデータポイントと入力特徴量を特定する。
• adversarial 攻撃の検出と、モデルの改善に向けた合成データ生成を可能にする。

提案手法

• フラップポイントを、与えられたサンプルに最も近い、2つの出力クラス間の決定境界上にある入力として定義する。
• 最も近いフラップポイントの探索を、勾配に基づく手法で解ける適切に定式化された最適化問題として定式化する。
• 入力からその最も近いフラップポイントまでの距離を、モデル予測の信頼度測度として使用する。
• トレーニング入力からその最も近いフラップポイントへのベクトルに対して主成分分析（PCA）とランクを露わにするQR（RR-QR）因子分解を適用し、支配的特徴方向を特定する。
• フラップポイントの方向を用いて、データ拡張やadversarial テスト用の合成データを生成する。
• フラップポイントの情報を活用して、モデルの頑健性を評価し、データ損傷を検出するとともに、特徴量のスケーリングや再重み付けを支援する。

実験結果

リサーチクエスチョン

• RQ1 ソフトマックススコアよりも信頼性の高いニューラルネットワークの予測信頼度をどのように測定できるか？
• RQ2 与えられたサンプルのモデル出力を反転させるにはどのような入力変更が必要で、それを効率的に計算するにはどうすればよいか？
• RQ3 入力のうち、モデルの分類意思決定に最も影響を与える特徴量は何か？
• RQ4 フラップポイントを用いて、最も影響力のあるおよび最も影響力のないトレーニングデータポイントをどのように特定できるか？
• RQ5 フラップポイントを用いてadversarial 例を生成したり、合成データによってモデルの一般化性能を向上させたりできるか？

主な発見

• 最も近いフラップポイントまでの距離は、ソフトマックススコアよりも信頼性の高い信頼度測度である。テストセットでの誤分類サンプルの平均フラップ距離は0.022であり、正しく分類された予測の0.103よりも小さい。
• すべての誤分類されたテストサンプルはソフトマックススコアが97.4％以上であった。これは、高いソフトマックス値が正解を保証するわけではないことを示しており、フラップ距離は不確実な予測を効果的に特定する。
• フラップポイント方向に対するPCAの結果、ウィsconsin乳癌データセットでは「テクスチャの標準誤差」と「フラクタル次元の標準誤差」が、良性から悪性への予測反転に寄与する主要な特徴量であった。
• 「悪性」予測を「良性」に反転させる際に最も影響力のある特徴量は「テクスチャの標準誤差」と「最悪の面積」であり、臨床医やモデル設計者にとって有用なインサイトを提供する。
• フラップポイントを用いて合成データを生成したところ、モデルの精度が向上した。また、決定境界を変更するadversarial 例の生成にも成功した。
• この手法はモデルに依存せず、ニューラルネットワークに限らず、任意の分類器に適用可能である。これは、意思決定境界への近接性に基づくためである。