[論文レビュー] A Consistent and Efficient Evaluation Strategy for Attribution Methods

Yao Rong, Tobias Leemann+3 more|arXiv (Cornell University)|Feb 1, 2022

Domain Adaptation and Few-Shot Learning被引用数 31

ひとこと要約

論文は ROAD（Remove and Debias）を紹介します。再学習不要のデバイアスをかけたローカルアトリビューション手法の評価フレームワークで、評価の一貫性を大幅に向上させ、計算コストを最大99%削減します。

ABSTRACT

With a variety of local feature attribution methods being proposed in recent years, follow-up work suggested several evaluation strategies. To assess the attribution quality across different attribution techniques, the most popular among these evaluation strategies in the image domain use pixel perturbations. However, recent advances discovered that different evaluation strategies produce conflicting rankings of attribution methods and can be prohibitively expensive to compute. In this work, we present an information-theoretic analysis of evaluation strategies based on pixel perturbations. Our findings reveal that the results are strongly affected by information leakage through the shape of the removed pixels as opposed to their actual values. Using our theoretical insights, we propose a novel evaluation framework termed Remove and Debias (ROAD) which offers two contributions: First, it mitigates the impact of the confounders, which entails higher consistency among evaluation strategies. Second, ROAD does not require the computationally expensive retraining step and saves up to 99% in computational costs compared to the state-of-the-art. We release our source code at https://github.com/tleemann/road_evaluation.

研究の動機と目的

• 摂動ベースの戦略の不一致に直面する中で、ローカル特徴付け手法の評価の信頼性の必要性を動機づける。
• ピクセル摂動評価の情報理論的分析を提供し、マスク処理を介した漏洩混乱因子を特定する。
• 評価をデバイアス化し、再学習を回避して計算を削減する ROAD (Remove and Debias) を提案する。
• Noisy Linear Imputation を導入して情報漏洩を最小化し、手法間の一貫性を改善する。

提案手法

• 情報理論に基づくピクセル摂動評価戦略の分析を実施する。
• 評価結果を特徴情報とマスク情報に相互情報量の概念を用いて分解する。
• 二値マスクを通じたクラス情報の漏洩を特定し、緩和策（Mitigator）を形式化する。
• Noisy Linear Imputation を用いた最小限の情報開示補完を提案して漏洩を減らす。
• ROAD は ROAR と比較して高い一貫性と顕著な計算削減を達成することを示す。

実験結果

リサーチクエスチョン

• RQ1 アトリビューション手法の摂動ベースの評価戦略は、マスクとピクセル値を通じた情報漏洩の影響を受けやすいのか？
• RQ2 ハイパーパラメータ感度を低減し、再学習を避けるデバイアス評価フレームワークを定式化できるか？
• RQ3 Noisy Linear Imputation はマスク漏洩を十分に軽減して、MoRFとLeRFの順序で一貫したランキングを生み出すか？
• RQ4 ROAD の ROAR に対する効率向上はどの程度か、ランキング品質を犠牲にせず再学習なしが現実的か？

主な発見

• マスクを介した情報漏洩を除去することで、MoRFとLeRFの順序下でアトリビューション手法間の一貫性のあるランキングを得られる。
• Noisy Linear Imputation はマスク情報漏洩を大幅に減少させ、評価結果を最小開示補完の原則と整合させる。
• ROAD は高いクロス順序の一貫性を達成する（例：再学習ありのMoRF対LeRFでSpearman 相関が0.61に改善、再学習なしで0.58）。
• ROAD は ROAR に比べて計算コストを最大99%削減し、結果に大きな変更を加えることなく再学習なし評価を可能にする。
• CIFAR-10（および Food-101）で ROAD のランキングは再訓練済みベースラインに近く、はるかに少ない計算量で一致する。