[論文レビュー] Automatic Shortcut Removal for Self-Supervised Representation Learning

Matthias Minderer, Olivier Bachem+2 more|arXiv (Cornell University)|Feb 20, 2020

Domain Adaptation and Few-Shot Learning参考文献 43被引用数 36

ひとこと要約

本論文は、自己教師あり事前学習（SSL）中のショートカット特徴を排除する敵対的に訓練された image-to-image レンズを導入し、タスクとデータセットを跨ぐ転移可能な表現を改善する。レンズはデータセット/タスクのバイアスを明らかにし緩和し、意味的特徴学習を強化する。

ABSTRACT

In self-supervised visual representation learning, a feature extractor is trained on a "pretext task" for which labels can be generated cheaply, without human annotation. A central challenge in this approach is that the feature extractor quickly learns to exploit low-level visual features such as color aberrations or watermarks and then fails to learn useful semantic representations. Much work has gone into identifying such "shortcut" features and hand-designing schemes to reduce their effect. Here, we propose a general framework for mitigating the effect shortcut features. Our key assumption is that those features which are the first to be exploited for solving the pretext task may also be the most vulnerable to an adversary trained to make the task harder. We show that this assumption holds across common pretext tasks and datasets by training a "lens" network to make small image changes that maximally reduce performance in the pretext task. Representations learned with the modified images outperform those learned without in all tested cases. Additionally, the modifications made by the lens reveal how the choice of pretext task and dataset affects the features learned by self-supervision.

研究の動機と目的

• 自己教師あり学習（SSL）におけるショートカット特徴の問題を動機づけ、形式化する。
• 手作業のデータ拡張を設計することなく、ショートカットを除去する自動的方法を提案する。
• レンズベースのショートカット除去が、タスクとデータセットを跨ぐSSL表現を改善することを実証する。
• レンズの可視化を用いてデータセットとプレテキストタスクのバイアスを分析し、タスク設計を導く。

提案手法

• 入力を敵対的に変更してSSLのパフォーマンスを劣化させる軽量な image-to-image 変換ネットワーク（レンズ）を導入する。
• プレテキストタスクの難易度を最大化しつつ画像再構成品質を維持する敵対損失でレンズを訓練する。
• レンズを正則化するためにL2再構成損失を使用し、タスクごとにハイパーパラメータ（lambda）を選択する。
• 下流評価のためにレンズをかけた入力とかけていない入力の表現を組み合わせ、情報量を保持する。

実験結果

リサーチクエスチョン

• RQ1 敵対的レンズは、SSLのプレテキストタスクを解くのに有用なショートカットを自動的に識別して除去できるのか？
• RQ2 レンズベースの修正は、データセットとプレテキストタスクを跨いだSSL表現の下流転移性能を改善するのか？
• RQ3 レンズはどのような視覚特徴を除去するのか、そしてこれらはタスク/データセットのバイアスとどのように関連するのか？
• RQ4 レンズベースのショートカット除去は、学習表現の意味的品質にどのように影響するのか？
• RQ5 レンズはデータセットのバイアスを明らかにし、SSLのデータ拡張設計を導くことができるのか？

主な発見

• 複数のプレテキストタスクとデータセットにわたり、レンズを適用することでベースラインのSSL表現より有意な改善が見られる。
• レンズはFGSMのような標準的な敵対訓練法よりも転送性能の改善に優れており、特にPlaces205への転移時に効果的。
• レンズ誘導表現は意味性が高く、例えばテクスチャに偏った手掛かりから形状ベースの意思決定へとシフトする。
• レンズの可視化は、水印、色収差、データセット固有のバイアスといった解釈可能なショートカット特徴を明らかにする。
• 動画フレーム（YouTube1M）では、レンズはImageNetトレーニングと比較して失われた性能の substantial な部分を回復し、非キュレートデータに存在するバイアスを低減する。