[論文レビュー] Analyzing ImageNet with Spectral Relevance Analysis: Towards ImageNet un-Hans'ed.

Christopher J. Anders, Talmaj Marinč+4 more|arXiv (Cornell University)|Dec 22, 2019

Adversarial Robustness in Machine Learning参考文献 27被引用数 10

ひとこと要約

この論文は、スペクトル関連性分析（SpRAy）を用いたスケーラブルなフレームワークを導入し、ImageNetにおける奇妙なハーンズ行動（Clever Hans behavior）を検出・軽減する。本手法は、新たなワサーベインに基づく帰属割り当て比較により、すなわち偽の相関関係を同定し、偏りの強いクラスを定量化し、体系的なデータクリーニング手順を適用することで、アーチファクト駆動のモデル予測を顕著に低減する。

ABSTRACT

Today's machine learning models for computer vision are typically trained on very large (benchmark) data sets with millions of samples. These may, however, contain biases, artifacts, or errors that have gone unnoticed and are exploited by the model. In the worst case, the trained model may become a 'Clever Hans' predictor that does not learn a valid and generalizable strategy to solve the problem it was trained for, but bases its decisions on spurious correlations in the training data. Recently developed techniques allow to explain individual model decisions and thus to gain deeper insights into the model's prediction strategies. In this paper, we contribute by providing a comprehensive analysis framework based on a scalable statistical analysis of attributions from explanation methods for large data corpora, here ImageNet. Based on a recent technique - Spectral Relevance Analysis (SpRAy) - we propose three technical contributions and resulting findings: (a) novel similarity metrics based on Wasserstein for comparing attributions to allow for the first time scale, translational, and rotational invariant comparisons of attributions, (b) a scalable quantification of artifactual and poisoned classes where the ML models under study exhibit Clever Hans behavior, (c) a cleaning procedure that allows to relief data of artifacts and biases in a systematic manner yielding significantly reduced Clever Hans behavior, i.e. we un-Hans the ImageNet data corpus. Using this novel method set, we provide qualitative and quantitative analyses of the biases and artifacts in ImageNet and demonstrate that the usage of these insights can give rise to improved models and functionally cleaned data corpora.

研究の動機と目的

• 大規模なデータセット（例：ImageNet）におけるバイアスやアーチファクトを特定・定量化し、モデルが一般化可能な特徴を学習する代わりに、偽の相関関係に依存してしまう原因を特定すること。
• 数百万枚の画像にわたるモデルの帰属割り当てマップをスケーラブルに分析する手法を開発し、奇妙なハーンズ行動を示す体系的な乖離を検出すること。
• アーチファクトや汚染されたクラスを特定・削除することで、画像データセットの体系的クリーニングを可能にすること。
• 帰属割り当てに基づく分析をガイドとして用いたデータキュレーションにより、モデルの頑健性と一般化性能を向上させること。

提案手法

• スケール、平行移動、回転に対して不変な帰属割り当てマップの比較を可能にする、新規のワサーベインベースの類似性指標を提案する。
• スペクトル関連性分析（SpRAy）を用いて、ImageNet全体のデータセットにわたる帰属割り当てマップをスケールで計算・分析する。
• 帰属割り当てパターンに基づき、アーチファクトや汚染信号のレベルが高いクラスを特定するための定量化パイプラインを導入する。
• 帰属割り当て分析をガイドとして、強い偽の相関関係を示す画像やクラスを削除するデータクリーニング手順を開発する。
• 帰属割り当て分布の統計的モデリングを用いて、モデルが意味的でない手がかり（例：背景パターンやテクスチャ）に依存するデータセットの領域を検出・分離する。
• クリーニングプロセスの有効性を、クリーニング後のモデル評価を通じて奇妙なハーンズ行動の低減を測定することで検証する。

実験結果

リサーチクエスチョン

• RQ1 ImageNetのどのクラスが、学習データ内の偽の相関関係によって、強い奇妙なハーンズ行動の証拠を示しているか？
• RQ2 スケール、平行移動、回転に対して不変な方法で、帰属割り当てマップを比較することで、アーチファクトの信頼性のある検出が可能になるか？
• RQ3 体系的なデータクリーニングによって、クリーニング済みデータセットで微調整されたモデルにおける奇妙なハーンズ行動はどの程度低減されるか？
• RQ4 帰属割り当てマップのスペクトル解析により、大規模スケールで以前に発見されていなかったバイアスやアーチファクトを特定できるか？
• RQ5 アーチファクトを多く含む画像を削除することで、モデルの一般化性能と頑健性にどのような影響が生じるか？

主な発見

• 提案されたワサーベインベースの帰属割り当て比較指標は、多様な画像変換にわたる帰属割り当てマップの堅牢で不変な比較を可能にした。
• ImageNetの多数のクラスに、アーチファクトや汚染信号の高いレベルが存在することが同定され、広範な奇妙なハーンズ行動が示唆された。
• データクリーニング手順は、下流モデルにおける奇妙なハーンズ行動を効果的に低減し、分布外データおよびクリーンデータにおける一般化性能の向上をもたらした。
• クリーニング後のモデルは、背景パターンやテクスチャといった意味的でない手がかりへの依存が減少しており、偽の相関関係の緩和が確認された。
• 本フレームワークにより、帰属割り当て分析を用いた、ImageNet全体におけるアーチファクトの広がりを初めて定量的かつ大規模に評価することができた。
• 本研究は、説明可能性手法をガイドとして用いた体系的なデータキュレーションが、機能的にクリアなデータセットを生み出し、モデルのパフォーマンスと信頼性を向上させられることを示した。