[論文レビュー] Understanding Impacts of High-Order Loss Approximations and Features in Deep Learning Interpretation

Sahil Singla, Eric Wallace+2 more|arXiv (Cornell University)|Feb 1, 2019

Adversarial Robustness in Machine Learning参考文献 33被引用数 16

ひとこと要約

本論文は、深層学習の解釈における高次損失近似と特徴量グループ化の影響を調査する。高信頼度のImageNet分類において、ランク1近似のためヘシアン項の影響は最小限に抑えられ、L0-L1緩和によるグループ特徴正則化がサリエンシーマップの品質と解釈可能性を著しく向上させることを証明する。

ABSTRACT

Current methods to interpret deep learning models by generating saliency maps generally rely on two key assumptions. First, they use first-order approximations of the loss function neglecting higher-order terms such as the loss curvatures. Second, they evaluate each feature's importance in isolation, ignoring their inter-dependencies. In this work, we study the effect of relaxing these two assumptions. First, by characterizing a closed-form formula for the Hessian matrix of a deep ReLU network, we prove that, for a classification problem with a large number of classes, if an input has a high confidence classification score, the inclusion of the Hessian term has small impacts in the final solution. We prove this result by showing that in this case the Hessian matrix is approximately of rank one and its leading eigenvector is almost parallel to the gradient of the loss function. Our empirical experiments on ImageNet samples are consistent with our theory. This result can have implications in other related problems such as adversarial examples as well. Second, we compute the importance of group-features in deep learning interpretation by introducing a sparsity regularization term. We use the $L_0-L_1$ relaxation technique along with the proximal gradient descent to have an efficient computation of group feature importance scores. Our empirical results indicate that considering group features can improve deep learning interpretation significantly.

研究の動機と目的

• 高次損失項（例：ヘシアン曲率）を無視した場合の深層学習解釈手法への影響を検討すること。
• 特徴量の相互依存性を考慮しないまま特徴量重要度を個別に評価することの限界を調査すること。
• スパarsity正則化を用いてグループ単位の特徴量重要度を組み込む手法を開発し、解釈可能性を向上させること。
• 理論的および実験的に、高信頼度分類シナリオにおいてヘシアン寄与が無視できるほど小さいことを検証すること。
• グループ特徴分析が、深層ニューラルネットワークにおけるより正確で頑健なサリエンシーマップをもたらすことを実証すること。

提案手法

• マルチクラス分類設定下での深層ReLUネットワークのヘシアン行列について閉形式の表現を導出する。
• 多数のクラスを対象とした高信頼度予測において、ヘシアン行列がほぼランク1であり、その主要固有ベクトルが損失勾配とほぼ平行であることを証明する。
• L0-L1緩和技術を用いてグループ特徴重要度をモデル化し、近接勾配降下法による計算を効率化する。
• 意味のある特徴量グループの選択を促進するスパarsity正則化項を導入する。
• ImageNetを用いた実験的評価により、ヘシアンの影響とグループ特徴の有効性に関する理論的主張を検証する。
• 理論的分析と実験的検証を統合し、曲率および特徴量グループ化がサリエンシーマップに与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 高信頼度マルチクラス分類シナリオにおいて、ヘシアン行列がサリエンシーマップに与える寄与はどの程度顕著か？
• RQ2 特徴量の相互依存性を無視することで、深層学習解釈の品質はどの程度劣化するか？
• RQ3 スパarsity正則化を用いてグループ単位の特徴量重要度を組み込むことで、サリエンシーマップの正確性と頑健性は向上するか？
• RQ4 高信頼度の深層学習予測において、ヘシアン行列と勾配の理論的関係は何か？
• RQ5 ヘシアンに基づく補正は、 adversarial 例の頑健性およびモデル解釈にどのように影響するか？

主な発見

• 大規模マルチクラス問題における高信頼度予測を持つ深層ReLUネットワークでは、ヘシアン行列がほぼランク1であり、その主要固有ベクトルが損失勾配とほぼ平行であるため、サリエンシーマップへの曲率項の影響は最小限に抑えられる。
• ImageNetにおける実験的結果から、信頼度スコアが高い状況ではヘシアン項を含んでも最終的なサリエンシーマップに顕著な影響がないことが確認された。
• 近接勾配降下法を用いたL0-L1緩和により、グループ特徴重要度スコアの効率的計算が可能になった。
• 正則化を用いてグループ特徴を組み込むことで、個別特徴量分析に比べて解釈品質が著しく向上した。
• 理論的および実験的結果から、高信頼度の設定では高次損失近似を安全に無視でき、解釈手法の簡素化が可能であることが示唆された。
• 結果は、adversarial 例の頑健性に対しても意味を持つ。勾配とヘシアン方向の整合性が摂動感受性に影響を与える可能性がある。