[論文レビュー] Breaking Batch Normalization for better explainability of Deep Neural Networks through Layer-wise Relevance Propagation

Mathilde Guillemot, Catherine Heusèle+3 more|arXiv (Cornell University)|Feb 24, 2020

Explainable Artificial Intelligence (XAI)参考文献 22被引用数 16

ひとこと要約

本論文は、深層ニューラルネットワークの解釈可能性性を向上させるために、ミニバッチ正規化（BN）層をレイヤーごとの関係性伝播（LRP）に統合する手法を提案する。BNを直前の畳み込み層または全結合層と統合し、単一の同等の層にすることで、正確な関係性の逆伝播が可能となり、特にMNISTおよびCIFAR-10における畳み込みネットワークでは、より正確で局所化されたヒートマップが得られる。一方、BNを含む全結合アーキテクチャでは限界が顕在化する。

ABSTRACT

The lack of transparency of neural networks stays a major break for their use. The Layerwise Relevance Propagation technique builds heat-maps representing the relevance of each input in the model s decision. The relevance spreads backward from the last to the first layer of the Deep Neural Network. Layer-wise Relevance Propagation does not manage normalization layers, in this work we suggest a method to include normalization layers. Specifically, we build an equivalent network fusing normalization layers and convolutional or fully connected layers. Heatmaps obtained with our method on MNIST and CIFAR 10 datasets are more accurate for convolutional layers. Our study also prevents from using Layerwise Relevance Propagation with networks including a combination of connected layers and normalization layer.

研究の動機と目的

• 深層ニューラルネットワークにおける透明性の欠如、特にミニバッチ正規化（BN）層を用いるモデルに対して、その問題を解決すること。
• 標準的なLRPが正規化層を処理できないという制限を克服すること。正規化層は一般的にバイパスされたり無視されたりする。
• BN層を適切にLRPに統合する手法を開発し、より正確で信頼性の高い関係性の帰属を実現すること。
• 標準ベンチマーク（MNISTおよびCIFAR-10）を用いて、BN統合が解釈可能性性に与える影響を評価すること。
• BNが全結合層と組み合わされた場合に、LRPが依然として有効であるかを検討すること。特に、関係性マップの不安定性に注目する。

提案手法

• 著者らは、ミニバッチ正規化を直前の畳み込み層または全結合層と数学的に統合し、ネットワークの順方向伝播を保持する単一の同等の層を構築する。
• 活性化関数の前におけるBNの適用に対して、層パラメータの閉形式変換を導出し、融合層を通じた直接的な関係性伝播を可能にする。
• 活性化関数の後におけるBNの適用に対しても、同様にパラメータ変換を導出し、逆方向の関係性伝播を維持する計算グラフを保つ。
• 融合層をLRPの伝播プロセスに統合し、元のBN層を置き換え、出力から入力への正確な関係性の分配を可能にする。
• 本手法はBNに限らず、インスタンス正規化やレイヤー正規化などの他の正規化層に対しても拡張可能であり、一般化可能性を示唆する。
• 畳み込みネットワークおよび全結合ネットワークを用いたMNISTおよびCIFAR-10における定性的な評価を通じて、活性化関数の前後におけるBNの配置にかかわらず、本手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 ミニバッチ正規化層をレイヤーごとの関係性伝播（LRP）フレームワークに適切に統合できるか？
• RQ2 BN層の統合が、畳み込みネットワークと全結合ネットワークにおけるLRPヒートマップの品質および局所化に与える影響は何か？
• RQ3 畳み込み層または全結合層とBNを統合することで、LRPでBNをバイパスする場合と比較して、より正確な関係性帰属が得られるか？
• RQ4 BNを含む全結合ネットワークにLRPを適用する際の限界は何か？
• RQ5 背景の複雑さや物体と背景の色のコントラストの違いが、本手法の性能に与える影響は何か？

主な発見

• 畳み込みネットワークでは、本手法によるBN統合を施したLRPは、BNをバイパスするベースライン手法と比較して、物体のエッジや輪郭をよりよく強調するヒートマップを生成する。
• MNISTでは、LRP中にBNを含めることで、数字の輪郭（例：'0' や '9'）内のピクセルの関係性がより適切に局所化され、内部ピクセルの強調が減少する。
• CIFAR-10では、背景と物体の色が類似している場合、本手法によるヒートマップは物体と背景のコントラストが顕著に向上している。
• 背景が非一様な場合、BN統合付きのLRPは、BNをバイパスするベースラインモデルおよびBNなしのモデルを上回り、より一貫性のある関係性マップを生成する。
• 全結合ネットワークでは、BNの配置（活性化関数の前後）に関わらず、関係性マップは依然として不安定で使用不能であり、LRPとBNの間にはこのアーキテクチャで相性が悪い可能性が示唆される。
• 本手法は、入力が複雑な状況下でBN統合の利点が顕著になることから、現実世界の高変動性を持つデータに対してより高い実用性を示している。