[論文レビュー] Attribution Preservation in Network Compression for Reliable Network Interpretation

Geondo Park, June Yong Yang+2 more|arXiv (Cornell University)|Oct 28, 2020

Advanced Graph Neural Networks参考文献 29被引用数 6

ひとこと要約

本稿では、重み付き崩壊的帰属マッピング正則化子を導入することで、モデル圧縮中に入力帰属を保持する、新しい帰属に配慮したネットワーク圧縮フレームワークを提案する。この手法により、圧縮ネットワークが元のフルネットワークとほぼ同一の帰属マップを出力することが保証され、予測精度を維持したまま帰属変形を顕著に低減する。この有効性は、複数の圧縮技術および帰属手法を用いたベンチマークデータセットで検証された。

ABSTRACT

Neural networks embedded in safety-sensitive applications such as self-driving cars and wearable health monitors rely on two important techniques: input attribution for hindsight analysis and network compression to reduce its size for edge-computing. In this paper, we show that these seemingly unrelated techniques conflict with each other as network compression deforms the produced attributions, which could lead to dire consequences for mission-critical applications. This phenomenon arises due to the fact that conventional network compression methods only preserve the predictions of the network while ignoring the quality of the attributions. To combat the attribution inconsistency problem, we present a framework that can preserve the attributions while compressing a network. By employing the Weighted Collapsed Attribution Matching regularizer, we match the attribution maps of the network being compressed to its pre-compression former self. We demonstrate the effectiveness of our algorithm both quantitatively and qualitatively on diverse compression methods.

研究の動機と目的

• 安全上の重要な応用分野におけるモデル信頼性を損なう、圧縮された深層ニューラルネットワークにおける帰属変形という重要な問題を特定・解決すること。
• 予測性能が維持されている場合でさえ、従来のネットワーク圧縮手法が帰属品質を劣化させることを示すこと。
• モデル効率性や予測精度を犠牲にすることなく、圧縮中に帰属マップを保持する統合フレームワークを開発すること。
• 提案手法の有効性を、多様な圧縮手法（スパース化、蒸留）および帰属手法（Grad-CAM、LRP、エキサイトーションバックプロパゲーション、RAP）の両方で検証すること。

提案手法

• 圧縮ネットワークの帰属マップを元のフルネットワーク（教師モデル）の帰属マップと一致させるために、重み付き崩壊的帰属マッピング正則化子を導入する。
• 正則化子は、学生（圧縮）ネットワークと教師（元の）ネットワークの帰属マップ間のL2距離を最小化し、空間的対応関係とピーク位置の局所化に焦点を当てる。
• 正則化子を学習目的に統合することで、知識蒸留や構造的／非構造的スパース化を含む多様な圧縮手法と互換性を持つ。
• フレームワークはエンドツーエンドで訓練され、圧縮ネットワークが同時に正確な予測と忠実な帰属を学習できるようにする。
• 勾配に基づく帰属マップを意思決定の重要な領域の代理として用いることで、微分不能な帰属手法に対しても有効である。
• 帰属局所化の品質を定量的に評価するため、AUCおよびポイント精度指標を用いて、正解セグメンテーションとの相対的な帰属局所化品質を測定する。

実験結果

リサーチクエスチョン

• RQ1 予測精度が維持されている場合でさえ、ネットワーク圧縮が入力帰属の品質を劣化させるか？
• RQ2 知識蒸留やスパース化のような多様な圧縮手法にわたって帰属を保持できる統合正則化子を設計できるか？
• RQ3 提案手法は、標準的な圧縮手法と比較して、どの程度帰属局所化を改善するか？
• RQ4 LRP やエキサイトーションバックプロパゲーションのような勾配非依存帰属手法に対しても、帰属保持の利点が拡張可能か？

主な発見

• 提案手法を用いた知識蒸留では、AUCが88.06、ポイント精度が79.12に達し、ナーブな蒸留（AUC: 78.74、ポイント精度: 67.26）を顕著に上回った。
• 構造的スパース化では、AUCが79.98から82.15に、ポイント精度が75.29から77.43に改善され、一貫した向上が確認された。
• 提案手法は、複数の帰属手法においても帰属品質を保持した：Grad-CAM（AUC: 88.06 対 78.74）、LRP（AUC: 82.46 対 79.60）、RAP（AUC: 83.53 対 80.85）。
• 微分不能な手法（LRP やエキサイトーションバックプロパゲーション）に対しても、帰属品質が顕著に向上したため、正則化子の汎用性が示された。
• 定性的な分析では、提案手法の帰属マップが教師ネットワークのマップに最も類似しており、ピーク帰属がセグメンテーション境界内に保たれていた。
• AUCおよびポイント精度の両方で、全評価設定において一貫した向上が示されたことから、帰属変形が効果的に低減されたことが裏付けられた。