[論文レビュー] Look at the Variance! Efficient Black-box Explanations with Sobol-based Sensitivity Analysis

Thomas Fel, Rémi Cadène+4 more|arXiv (Cornell University)|Nov 7, 2021

Machine Learning in Materials Science参考文献 67被引用数 15

ひとこと要約

本稿では、Sobolに基づく感度分析を用いて、高次相互作用を捉えながら、特徴量の重要度を効率的に推定する、深層学習モデル向けの新規ブラックボックス解釈手法を提案する。準モンテカルロ法によるサンプリングとパerturbationマスク、および効率的なSobolインデックス推定器を組み合わせることで、視覚および自然言語処理のベンチマークにおいて、最先端の忠実性を達成し、白ボックス手法と同等またはそれを上回る性能を示す一方で、既存のブラックボックス手法と比較して計算時間を最大50％まで短縮する。

ABSTRACT

We describe a novel attribution method which is grounded in Sensitivity Analysis and uses Sobol indices. Beyond modeling the individual contributions of image regions, Sobol indices provide an efficient way to capture higher-order interactions between image regions and their contributions to a neural network's prediction through the lens of variance. We describe an approach that makes the computation of these indices efficient for high-dimensional problems by using perturbation masks coupled with efficient estimators to handle the high dimensionality of images. Importantly, we show that the proposed method leads to favorable scores on standard benchmarks for vision (and language models) while drastically reducing the computing time compared to other black-box methods -- even surpassing the accuracy of state-of-the-art white-box methods which require access to internal representations. Our code is freely available: https://github.com/fel-thomas/Sobol-Attribution-Method

研究の動機と目的

• 内部ネットワーク状態へのアクセスを必要としない、一般化可能で効率的かつ忠実なブラックボックス解釈手法の開発。
• 計算コストが高く、高次相互作用のモデル化が限られている既存のブラックボックス手法の限界を克服すること。
• 特にSobolインデックスを含む感度分析技術を、画像やテキストなどの高次元入力に応用する深層学習解釈への応用を拡張すること。
• 分散に基づく属性割り当てが、内部モデル情報へのアクセスなしに、最先端の白ボックス手法と同等またはそれ以上の性能を達成できることを示すこと。
• 視覚および自然言語処理のベンチマークにおいて、実世界の設定でも頑健で効率的であることを検証すること。

提案手法

• 本手法は、入力特徴（例：画像ピクセルや単語）の全範囲にわたり、実数値のパerturbationマスクを準モンテカルロ（QMC）列を用いてサンプリングする。
• パerturbationマスクは、入力特徴を連続的に変更するインpainting関数を介して適用される（例：ピクセル強度の低下、NLPにおける単語の存在／不在のバイナリ化）。
• 各パerturbationを施した入力に対するモデルの出力予測を収集し、これらの出力からSobolインデックスを推定して特徴量の重要度を定量化する。
• 一次Sobolインデックス（$\mathcal{S}_i$）は個々の特徴量の寄与度を測定するが、総合効果インデックス（$\mathcal{S}_{T_i}$）は個々の寄与度に加え、高次相互作用効果も捉える。
• 感度分析の文献から得られた効率的推定器を用いることで、必要な前方伝搬回数を削減し、高次元入力へのスケーラビリティを実現する。
• NLPでは、マスクをバイナリ化することで単語の削除を模倣し、テキスト分類タスクへの適用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 Sobolに基づく感度分析を、深層ニューラルネットワークの忠実かつ効率的なブラックボックス解釈に効果的に適応できるか？
• RQ2 総合効果Sobolインデックスによる高次相互作用の組み込みが、一次手法と比較して解釈品質をどのように向上させるか？
• RQ3 本手法は、既存のブラックボックス手法と比較して顕著に高速である一方で、視覚および自然言語処理ベンチマークで競争力のある性能を達成できるか？
• RQ4 内部モデル表現へのアクセスを必要としないにもかかわらず、白ボックス手法の忠実性を上回るか、同等に保てるか？
• RQ5 連続的 vs. バイナリのパerturbation戦略の選択が、画像やテキストなどの異なるモダリティにおいて性能にどのように影響を与えるか？

主な発見

• 提案手法は、bi-LSTMにおけるIMDBデータセットで0.461のワード削除スコアを達成し、テストされた勾配ベースの白ボックス手法をすべて上回り、全体で2番目の順位を獲得した。
• BERTでは、デフォルトのマスク分布が平均して半数の単語を削除するにもかかわらず、0.598の削除スコアを達成し、競争力のある性能を示した。
• 画像およびテキストベンチマークにおいて、他のブラックボックス手法と比較して計算コストを最大50％まで削減しながら、忠実性を維持または向上させた。
• 画像分類タスクでは、最先端のブラックボックス手法と同等またはそれ以上の性能を示し、統合勾配法などの白ボックス手法の正確さにすら匹敵した。
• 総合効果Sobolインデックス（$\mathcal{S}_{T_i}$）は、目とリスの鼻先の間の相互作用といった、共同寄与を効果的に強調しており、本手法が複雑な非線形相互作用をモデル化できる能力を示している。
• 本手法はモダリティを越えて頑健である：入力のパerturbation関数をバイナリ化することで、視覚からNLPへと一般化可能であり、高い性能を維持した。