[論文レビュー] Explaining Deep Learning Models using Causal Inference

Tanmayee Narendra, Anush Sankaran+2 more|arXiv (Cornell University)|Nov 11, 2018

Adversarial Robustness in Machine Learning参考文献 18被引用数 28

ひとこと要約

この論文は、構造的因果モデル（SCM）を用いた因果推論フレームワークを提案し、反事後的介入を通じてフィルタの重要度を定量的にランク付けすることで、畳み込みニューラルネットワーク（CNN）を説明する。再訓練を伴わずに、一度限りの因果抽象化を構築し、フィルタをゼロに設定した際の性能変化を予測する。CIFAR-10で最大92.4%の精度を達成した。

ABSTRACT

Although deep learning models have been successfully applied to a variety of tasks, due to the millions of parameters, they are becoming increasingly opaque and complex. In order to establish trust for their widespread commercial use, it is important to formalize a principled framework to reason over these models. In this work, we use ideas from causal inference to describe a general framework to reason over CNN models. Specifically, we build a Structural Causal Model (SCM) as an abstraction over a specific aspect of the CNN. We also formulate a method to quantitatively rank the filters of a convolution layer according to their counterfactual importance. We illustrate our approach with popular CNN architectures such as LeNet5, VGG19, and ResNet32.

研究の動機と目的

• 深層学習モデルの不透明性を解消し、CNNの挙動を解釈するための原理的で因果的なフレームワークを提供すること。
• 既存のサリエンシーに基づく手法では、モデル部品に関する「もし～なら」や反事後的質問に答えられないという限界を克服すること。
• 介入後に再訓練を行わず、CNNのフィルタ重要度を定量的にランク付けできること。
• モデルの精度を指標として用いて因果抽象化を検証し、元のDNNの挙動に整合性を保つこと。
• 再訓練を伴わずに、モデル圧縮、トランスファー学習、ハイパーパramータ予測へのフレームワークの有効性を示すこと。

提案手法

• フィルタ応答の上に構造的因果モデル（SCM）を構築し、特徴マップのフロベニウスノルムを十分統計量として用いる。
• 線形回帰を用いてSCM内の構造的方程式を近似し、フィルタ応答とモデル精度の関係をモデル化する。
• 特定のフィルタのフロベニウスノルムをゼロに設定する反事後的介入を実施し、それに伴う精度低下を測定する。
• 精度低下の大きさに基づいてフィルタをランク付けする：介入後の精度が低いほど、そのフィルタの重要度が高い。
• SCMの予測精度を、元のDNNでフィルタを削除した際の実際の精度低下と比較することで検証する。
• バイナリ変換とフロベニウスノルム変換を用いて異なる抽象化レベルを検討し、後者の方が優れた性能を示したため、好ましいと判断した。

実験結果

リサーチクエスチョン

• RQ1 個々のフィルタがCNNの予測に与える影響を、因果推論によってどのように説明できるか？
• RQ2 再訓練を伴わず、フィルタを削除した際の性能低下を、構造的因果モデル（SCM）が正確に予測できるか？
• RQ3 VGG19、ResNet32、LeNet5のようなCNNにおける、異なる層のフィルタの相対的な重要度は何か？
• RQ4 バイナリ変換やフロベニウスノルムなどの異なる変換手法が、因果抽象化の忠実度に与える影響は何か？
• RQ5 学習済みのSCMを用いて、フィルタの削除やハイパーパramータチューニングなどの構造的変更後のモデル挙動を再訓練なしに予測できるか？

主な発見

• VGG19モデルにおいて、CIFAR-10データセットでSCMがテスト精度0.924を達成し、元のDNNに強く一致していることが示された。
• フロベニウスノルム変換はバイナリ変換を上回り、情報損失が多すぎてランダムより低い精度を示した。
• 後段の層（例：Conv2D 9）のフィルタは削除に対してより感受性が高く、VGG19では309番、162番、373番の上位フィルタが顕著な精度低下を引き起こした。
• 精度低下を指標として用いることで、この手法はフィルタの重要度を効果的にランク付けできた。最も重要なフィルタは最小限の性能低下しか引き起こさなかった。
• 再訓練を伴わず、フィルタの削除などの構造的変更後のモデル性能を予測可能であり、モデル圧縮やハイパーパramータ探索への応用が有効であることが示された。
• このアプローチはアーキテクチャを問わず一般化可能であり、LeNet5、VGG19、ResNet32に適用したところ、CIFAR-10で一貫した性能を示した。