[論文レビュー] Making Sense of Dependence: Efficient Black-box Explanations Using Dependence Measure

Paul Novello, Thomas Fel+1 more|arXiv (Cornell University)|Jun 13, 2022

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

本稿では、再現性のあるヒルバート空間（RKHS）におけるカーネル埋め込みを用いて、画像パッチとモデル出力の間の従属関係を効率的に測定するための、ヒルバート＝シュミット独立性基準（HSIC）を用いた新しいブラックボックス解釈手法、HSIC-Attributionを紹介する。この手法は、最先端のブラックボックス手法と比較して最大8倍速く推論を実行しながら、忠実性を維持または向上させ、ペアワイズパッチ相互作用を検出可能な直交分解を可能にする。本手法はImageNetおよびYOLOv4のようなオブジェクト検出モデルでも有効であることを実証した。

ABSTRACT

This paper presents a new efficient black-box attribution method based on Hilbert-Schmidt Independence Criterion (HSIC), a dependence measure based on Reproducing Kernel Hilbert Spaces (RKHS). HSIC measures the dependence between regions of an input image and the output of a model based on kernel embeddings of distributions. It thus provides explanations enriched by RKHS representation capabilities. HSIC can be estimated very efficiently, significantly reducing the computational cost compared to other black-box attribution methods. Our experiments show that HSIC is up to 8 times faster than the previous best black-box attribution methods while being as faithful. Indeed, we improve or match the state-of-the-art of both black-box and white-box attribution methods for several fidelity metrics on Imagenet with various recent model architectures. Importantly, we show that these advances can be transposed to efficiently and faithfully explain object detection models such as YOLOv4. Finally, we extend the traditional attribution methods by proposing a new kernel enabling an ANOVA-like orthogonal decomposition of importance scores based on HSIC, allowing us to evaluate not only the importance of each image patch but also the importance of their pairwise interactions. Our implementation is available at https://github.com/paulnovello/HSIC-Attribution-Method.

研究の動機と目的

• モンテカルロサンプルと多数の順方向パスに依存する既存のブラックボックス属性付け手法の高い計算コストを解消すること。
• 大規模モデルやAPI環境においても、モデル挙動に忠実でありながら推論時間を著しく短縮するブラックボックス解釈手法の開発。
• 新しいカーネルベースの分解を用いて、個々のパッチの重要度を超えて、パッチ間の高次相互作用を検出・局在化可能にする。
• 標準のサリエンシーマップが誤分類の原因を明らかにできない場合が多くある、オブジェクト検出のようなあまり一般的でないタスクへの属性付け手法の適用拡張。
• ブラックボックス手法の効率性とホワイトボックス手法の忠実性を統合することで、ブラックボックスとホワイトボックス手法の性能格差を埋めること。

提案手法

• 再現性のあるヒルバート空間（RKHS）におけるカーネル埋め込みを活用し、摂動を加えた画像パッチの分布とモデル出力の間の統計的従属関係を測定するためのヒルバート＝シュミット独立性基準（HSIC）を用いる。
• 入力画像を摂動するためにランダムなバイナリマスクをサンプリングし、その出力を利用してパッチレベルの摂動とモデル予測との間のHSICを推定する。
• HSICスコアのANOVAに類似た直交分解を可能にする新しいカーネル関数を導入し、個々のパッチの重要度とペアワイズパッチ相互作用の寄与を分離可能にする。
• RKHSにおける経験的交共分散作用素を用いてHSICを推定し、Sobolインデックスのような分散ベースの手法と比較して、低い計算オーバーヘッドで効率的な計算を実現する。
• 画像分類（ImageNet）およびオブジェクト検出（YOLOv4）の両方のタスクに本手法を適用し、多様なアーキテクチャとタスクにわたる頑健性を実証する。
• 直交分解を用いて、個々の寄与を差し引いたことで得られる相互作用スコア $\mathcal{H}^{p}_{i\times j}$ を計算し、重要なパッチ相互作用の局在化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 モンテカルロベースの既存手法と比較して、著しく計算コストを削減しつつも高い忠実性を維持するブラックボックス属性付け手法を設計するにはどうすればよいか？
• RQ2 RKHSにおけるカーネル埋め込みに基づく従属測定（例：HSIC）は、Sobolインデックスのような分散ベースの手法よりも、深層ニューラルネットワークの解釈において複雑な非線形相互作用を捉える上で優れているか？
• RQ3 提案されたHSICベースの手法に直交分解を組み合わせることで、モデル予測に共同で寄与する画像パッチ間のペアワイズ相互作用を意味的に検出・局在化できるか？
• RQ4 本手法は、サリエンシーマップが誤分類の原因を明らかにできないオブジェクト検出モデルに対しても効果的に適用可能か？
• RQ5 本手法は、ホワイトボックス手法と同等の忠実性を達成しながらも、現実のブラックボックス環境で適用可能であるか？

主な発見

• HSIC-Attributionは、以前の最良のブラックボックス属性付け手法と比較して、最大8倍速く推論を実行し、計算コストを著しく削減しながら忠実性を損なわない。
• 複数のImageNetモデルおよび最近のアーキテクチャにおいて、忠実性（例：忠実性、安定性）の複数の指標で、最先端の性能を維持または上回った。
• HSIC-Attributionは、YOLOv4のようなオブジェクト検出モデルを効果的に解釈でき、誤分類の原因を正しく特定した。例えば、ゾウがネコに誤分類された原因として、背景にいるネコを正しく強調した。
• 提案されたカーネルにより、ANOVAに類似た直交分解が可能となり、パッチ間の顕著なペアワイズ相互作用を検出可能となった。例えば、パンサーのひげの領域が、目や額単体よりも、共同でより大きな寄与を示した。
• 定量的評価では、パンサーのひげの相互作用スコア $\mathcal{H}^{p}_{i\times j}$ が9.2に達し、目/額単体の重要度スコア8.2を上回った。これは、非加法的効果を捉える本手法の能力を示している。
• 本手法は、一部の相互作用が個々のパッチの寄与と同等に重要であることを示した。例えば、スキー風景における屋根の角2つと山の相互作用は、個々のパッチ寄与よりも重要であり、複雑な推論パターンを明らかにできた。