[論文レビュー] B-cos Networks: Alignment is All We Need for Interpretability

Moritz Böhle, Mario Fritz+1 more|arXiv (Cornell University)|May 20, 2022

Explainable Artificial Intelligence (XAI)被引用数 6

ひとこと要約

この論文では、B-cos変換と呼ばれる新しい変換を標準的な線形変換に代えて導入することで、トレーニング中に重みと入力の整合性を強制することにより、深層ニューラルネットワークの解釈可能性を向上させるB-cosネットワークを提案する。B-cos変換により、1つの線形要約によってネットワーク全体の計算を忠実に表現できるようになり、高品質な視覚的説明が可能となる。この手法は、ResNet、VGG、DenseNetなどの複数のアーキテクチャにおいて、競争力あるImageNet性能を維持しながら、人間が理解可能な説明を提供する。

ABSTRACT

We present a new direction for increasing the interpretability of deep neural networks (DNNs) by promoting weight-input alignment during training. For this, we propose to replace the linear transforms in DNNs by our B-cos transform. As we show, a sequence (network) of such transforms induces a single linear transform that faithfully summarises the full model computations. Moreover, the B-cos transform introduces alignment pressure on the weights during optimisation. As a result, those induced linear transforms become highly interpretable and align with task-relevant features. Importantly, the B-cos transform is designed to be compatible with existing architectures and we show that it can easily be integrated into common models such as VGGs, ResNets, InceptionNets, and DenseNets, whilst maintaining similar performance on ImageNet. The resulting explanations are of high visual quality and perform well under quantitative metrics for interpretability. Code available at https://www.github.com/moboehle/B-cos.

研究の動機と目的

• 性能を損なわせることなく、深層ニューラルネットワークを本質的に解釈可能にする挑戦に応えること。
• トレーニング中の重み更新を構造的に制約することで、モデルに忠実で人間が理解可能な説明を生成する手法を開発すること。
• 1つの統一された線形要約を用いて、最終出力および中間層ニューロンの両方に対して高品質な視覚的説明を可能にすること。
• ResNet、VGG、InceptionNet、DenseNetなどの既存の深層学習アーキテクチャと互換性を持つこと。
• 解釈可能性とモデルの正確性が、後処理による説明手法ではなく、構造的設計によって両立できることを示すこと。

提案手法

• B-cos変換は、重みを正規化し、入力に依存するスケーリング係数を適用することで、標準的な線形層に置き換える。これにより、学習された重みとタスクに必要な入力パターンとの整合性が促進される。
• この変換により、任意のB-cos層のシーケンスを1つの線形変換 W₁→L(x) で要約でき、与えられた入力に対してネットワーク全体の計算を忠実に反映する。
• 変換を入力に依存させる仕組みにより、最適化中に整合性の圧力を導入し、重みが顕著な入力特徴と一致するよう促進する。
• 説明は、誘導された線形変換 W₁→L(x) を用いたバックプロパゲーションベースのサリエンシーマップによって生成され、各入力ピクセルが最終予測に与える寄与度が可視化される。
• B-cos変換は、全結合層および畳み込み層のドロップインリプレースとして設計されており、アーキテクチャの変更を最小限に抑える。
• B-cos変換におけるパラメータBは、重み-入力整合性の度合いを微調整可能にし、解釈可能性の調整が可能となる。

実験結果

リサーチクエスチョン

• RQ1 線形層に構造的な変更を加えることで、性能を損なわせることなく深層ニューラルネットワークの解釈可能性を向上させることができるか？
• RQ2 忠実で解釈可能なまま、深層ネットワーク全体の計算を1つの線形変換で要約できるか？
• RQ3 トレーニング中に重み-入力の整合性を強制することで、より意味的で視覚的に一貫性のある説明が得られるか？
• RQ4 B-cos変換は、ResNet、VGG、DenseNetなどの多様なアーキテクチャにスムーズに統合可能であり、精度を維持できるか？
• RQ5 B-cos法は、後処理による説明手法と比較して、忠実性および視覚的品質の両面で優れているか？

主な発見

• B-cosネットワークは、ベースラインモデルと比較してImageNet top-1精度が1-2%以内の範囲で競争力を持ちながら、高解釈性で視覚的に一貫性のある説明を提供する。
• 誘導された線形変換 W₁→L(x) は、ネットワーク全体の計算を忠実に要約でき、最終出力および中間層ニューロンの両方の説明が可能である。
• DenseNet-121の第87層における個々のニューロンの説明は、顔、目、車輪、さらにはウォーターマークといった意味的コンセプトを明確に特定しており、高い特異性を示す。
• モデルの予測の不確実性も視覚的に説明可能である：差分マップ（Δ-説明）により、上位2つの予測クラス間で共有される証拠と相反する証拠が明らかになる。
• 正規化とスケーリングのため、トレーニングおよび推論時の時間は最大60%まで増加するが、最適化された実装によりこのオーバーヘッドは今後減少すると予想される。
• 全テストアーキテクチャにおいて、定量的指標および定性的な検査の両面で、既存の後処理説明手法を上回る性能を発揮する。