[論文レビュー] Sparse Oblique Decision Trees: A Tool to Understand and Manipulate Neural Net Features

Suryabhan Singh Hada, Miguel Á. Carreira-Perpiñán+1 more|arXiv (Cornell University)|Apr 7, 2021

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

この論文は、Tree Alternating Optimization (TAO) を用いて訓練されたスパースな斜交決定木を導入し、深層ニューラルネットワークの特徴を解釈および操作することを目的としている。訓練済みネットワークの最終層をこのような木に置き換えることで、予測を駆動する内部特徴が明らかになり、全データセットにわたるクラス出力を制御できるグローバルな特徴レベルの adversarial 攻撃が可能になる。

ABSTRACT

The widespread deployment of deep nets in practical applications has lead to a growing desire to understand how and why such black-box methods perform prediction. Much work has focused on understanding what part of the input pattern (an image, say) is responsible for a particular class being predicted, and how the input may be manipulated to predict a different class. We focus instead on understanding which of the internal features computed by the neural net are responsible for a particular class. We achieve this by mimicking part of the neural net with an oblique decision tree having sparse weight vectors at the decision nodes. Using the recently proposed Tree Alternating Optimization (TAO) algorithm, we are able to learn trees that are both highly accurate and interpretable. Such trees can faithfully mimic the part of the neural net they replaced, and hence they can provide insights into the deep net black box. Further, we show we can easily manipulate the neural net features in order to make the net predict, or not predict, a given class, thus showing that it is possible to carry out adversarial attacks at the level of the features. These insights and manipulations apply globally to the entire training and test set, not just at a local (single-instance) level. We demonstrate this robustly in the MNIST and ImageNet datasets with LeNet5 and VGG networks.

研究の動機と目的

• 深層ニューラルネットワークにおける解釈不能性の問題に対処し、特定の予測に影響を与える内部特徴を特定すること。
• 個々の入力ではなく、特定の特徴表現を標的とすることで、ニューラルネットワークの挙動をグローバルに操作できる手法を開発すること。
• スパースな斜交木を用いて、深層ネットワークの意思決定プロセスを忠実かつ解釈可能な代替モデルとして提供すること。
• 全訓練およびテストセットにわたって予測に影響を与えることができる、特徴レベルの adversarial 攻撃を構築できるかを示すこと、局所的ではなくグローバルな視点である。

提案手法

• スパースな斜交決定木を、各ノードに小さな学習可能な重みベクトルを持つように、Tree Alternating Optimization (TAO) アルゴリズムで訓練することで、高い精度と解釈可能性を実現する。
• 中間層（例：VGG や LeNet5 の畳み込みブロックの後）からの特徴を用いて、深層ニューラルネットワークの最終層の出力を模倣するように木を訓練する。
• 特徴マスキング機構を適用し、ネットワーク内の特定のニューロン（特徴）を一時的にブロックまたは抑制することで、特徴レベルでの adversarial マニピュレーションをシミュレートする。
• 木の構造と特徴の重みを用いて、各クラスに対して最も影響力のある特徴を特定し、ネットワークの内部的推論プロセスへの洞察を得る。
• 訓練済みネットワークの最終分類器をスパースな斜交木に置き換えることで、予測性能を維持しつつ解釈可能な代替モデルを構築する。
• LeNet5 および VGG アーキテクチャを用いて、MNIST および ImageNet でこの手法を評価し、予測の解釈可能性と制御可能性を示す。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークの内部特徴の中で、特定のクラス予測に最も寄与しているのはどれか？
• RQ2 スパースな斜交決定木は、深層ニューラルネットワークの最終層の意思決定境界を忠実に再現できるか、かつ解釈可能であるか？
• RQ3 全データセットにわたってネットワーク挙動をグローバルに変更できる、特徴レベルの adversarial 攻撃を構築できるか？
• RQ4 特定の特徴をマスキングすることで、ネットワークを常に特定のクラスを予測するようにしたり、特定のクラスを予測しないようにしたりできるか？
• RQ5 この手法は、深層ネットワークが学習する内部表現に対して一貫性があり意味のある洞察を提供できるか？

主な発見

• TAO を用いて訓練されたスパースな斜交決定木は、LeNet5 や VGG などの深層ネットワークの最終層を、最小限の性能損失で高い精度で再現できる。
• 木の構造は、各クラスを予測するために関与しているのは、中間層の特徴（ニューロン）のわずかなスパースなサブセットであることを明らかにした。これにより、特徴レベルでの解釈可能性が可能になる。
• 木によって特定された特定の特徴をマスキングすることで、ネットワークの予測をグローバルに変更できる。例えば、すべてのテストインスタンスで常に1つのクラスを予測する、または特定のクラスを予測しないようにできる。
• 本手法により、入力ピクセルではなく特徴レベルで動作する、グローバルな adversarial 攻撃の新種が可能となり、ネットワーク挙動に対する画期的な制御が実現された。
• 本手法は、MNIST における「3」と「8」の誤分類を引き起こすような特徴集合を特定・操作でき、特定のクラスペア間の誤分類を効果的に制御できる。
• 本手法はデータセットやアーキテクチャにかかわらず安定しており、VGG および LeNet5 を用いた MNIST と ImageNet において、一貫した解釈可能性と制御性が示された。