[論文レビュー] Informative Dropout for Robust Representation Learning: A Shape-bias Perspective

Baifeng Shi, Dinghuai Zhang+4 more|arXiv (Cornell University)|Aug 10, 2020

Adversarial Robustness in Machine Learning被引用数 46

ひとこと要約

この論文は Informative Dropout (InfoDrop) を紹介する。軽量でモデルに依存しない手法で、低情報入力領域をドロップすることにより CNN のテクスチャ・バイアスを低減し、ドメイン一般化、Few-shot 分類、画像汚染、敵対的状況における頑健性を向上させる。

ABSTRACT

Convolutional Neural Networks (CNNs) are known to rely more on local texture rather than global shape when making decisions. Recent work also indicates a close relationship between CNN's texture-bias and its robustness against distribution shift, adversarial perturbation, random corruption, etc. In this work, we attempt at improving various kinds of robustness universally by alleviating CNN's texture bias. With inspiration from the human visual system, we propose a light-weight model-agnostic method, namely Informative Dropout (InfoDrop), to improve interpretability and reduce texture bias. Specifically, we discriminate texture from shape based on local self-information in an image, and adopt a Dropout-like algorithm to decorrelate the model output from the local texture. Through extensive experiments, we observe enhanced robustness under various scenarios (domain generalization, few-shot classification, image corruption, and adversarial perturbation). To the best of our knowledge, this work is one of the earliest attempts to improve different kinds of robustness in a unified model, shedding new light on the relationship between shape-bias and robustness, also on new approaches to trustworthy machine learning algorithms. Code is available at https://github.com/bfshi/InfoDrop.

研究の動機と目的

• CNN のテクスチャ・バイアスと分布シフト、汚染、敵対的摂動に対する非頑健性の関連を動機づけ、定量化する。
• テクスチャ・バイアスを低減し形状バイアスを高める軽量なプラグイン機構（InfoDrop）を提案する。
• InfoDrop を適用したときの普遍的な頑健性向上を示し、他の頑健性手法との互換性を示す。

提案手法

• 局所パッチの自己情報を定義し、局所近傍に対するカーネル密度推定を用いて分布を近似する。
• 出力活性化ごとに Boltzmann形 r(z) ∝ exp(-I(p)/T)（I は自己情報、T は温度パラメータ）を用いてドロップ確率を計算する。
• 訓練時にドロップアウト様の処理を適用し、高情報領域を稀に、低情報領域を頻繁にゼロ化して、出力とテクスチャ様入力との相関を効果的にデコレラションする。
• パッチ情報量に基づいて出力を確率的にマスクしつつ、標準の畳み込み前方伝播を維持する。
• 推論時には InfoDrop を除去し、テスト時の InfoDrop 依存を避けつつ、クリーンデータで微調整を行い、 emergent な形状バイアスを評価する。

実験結果

リサーチクエスチョン

• RQ1 InfoDrop によって局所的なテクスチャ・バイアスを低減すると、CNN がより形状バイアスを持つ表現へと変化するか。
• RQ2 InfoDrop はドメインシフト、Few-shot 一般化、ランダム汚染、敵対的摂動に対する頑健性を向上させるか。
• RQ3 InfoDrop は既存の頑健性手法と互換性があり、さまざまなアーキテクチャとタスクで有益か。

主な発見

• InfoDrop は、ドメイン一般化、Few-shot 分類、ランダム汚染への頑健性において、ベースラインより一貫した改善を示す。
• InfoDrop を用いて訓練されたモデルは、定性的なサリエンシーマップや形状情報への感度から、形状バイアスを持つ挙動を示す。
• InfoDrop は敵対的訓練と組み合わせることで、追加のオーバーヘッドを抑えつつ頑健性をさらに強化できる。
• InfoDrop はソースドメインでの劣化を抑え、単一・複数ソースのドメイン一般化設定でターゲットドメインの性能を改善する。
• 特に形状を重視するタスク（スケッチ風ドメインなど）やドメイン間転送シナリオで改善が顕著。