[論文レビュー] Learning Visual Representations for Transfer Learning by Suppressing Texture

Shlok Mishra, Anshul Shah+6 more|arXiv (Cornell University)|Nov 3, 2020

Domain Adaptation and Few-Shot Learning参考文献 41被引用数 4

ひとこと要約

この論文では、畳み込みニューラルネットワーク（CNN）がテクスチャバイアスに依存するのを防ぎ、より高レベルの形状ベースの表現を学習するよう促すために、画像分類データセットImageNetの画像からテクスチャを抑制するための非等方的拡散をデータ増強手法として提案している。この手法は12の多様なデータセットにおける転移学習性能を向上させ、Sketch-ImageNetでは最大11.49%、Synthetic-DTDでは10.41%の精度向上を達成し、低レベルの特徴に依存する度合いが低下していることを示している。

ABSTRACT

Recent literature has shown that features obtained from supervised training of CNNs may over-emphasize texture rather than encoding high-level information. In self-supervised learning in particular, texture as a low-level cue may provide shortcuts that prevent the network from learning higher level representations. To address these problems we propose to use classic methods based on anisotropic diffusion to augment training using images with suppressed texture. This simple method helps retain important edge information and suppress texture at the same time. We empirically show that our method achieves state-of-the-art results on object detection and image classification with eight diverse datasets in either supervised or self-supervised learning tasks such as MoCoV2 and Jigsaw. Our method is particularly effective for transfer learning tasks and we observed improved performance on five standard transfer learning datasets. The large improvements (up to 11.49\%) on the Sketch-ImageNet dataset, DTD dataset and additional visual analyses with saliency maps suggest that our approach helps in learning better representations that better transfer.

研究の動機と目的

• 畳み込みニューラルネットワーク（CNN）がテクスチャや低レベル特徴に過剰に依存する問題に対処し、ドメイン間での一般化性を向上させること。
• テクスチャに依存するのではなく、高レベルの形状ベースの表現に注目させるようにモデルを促すことで、転移学習性能を向上させること。
• テクスチャを抑制しながらも構造的エッジを保持する、シンプルで効果的なデータ増強手法を開発すること。
• 教師ありおよび自己教師あり学習の両設定で、ガウスノイズやStylized-ImageNetといった既存手法を上回る性能を達成すること。

提案手法

• 非等方的拡散をImageNetの画像に適用し、エッジや構造的境界を保持したままテクスチャを抑制する。
• Perona-Malikおよびレディアンス非等方的拡散フレームワークを用いて、データ増強用のテクスチャ抑制画像を生成する。
• 増強済みデータセットを教師ありおよび自己教師あり学習（例：MoCoV2、Dense-CL）の事前学習に統合する。
• 同じ訓練プロトコルを用いて、ガウスノイズやStylized-ImageNetといったベースライン手法と比較する。
• 増強済みデータセットでモデルを学習し、多様なベンチマークにおける下流の転移学習タスクで評価する。
• Pix2Pixを用いて条件付き画像対画像変換を学習し、スタイル変換やぼかし処理よりも優れた性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 ImageNetの画像からテクスチャを抑制することで、事前学習済みCNNの下流の転移学習タスクにおける一般化性能が向上するか？
• RQ2 非等方的拡散に基づくデータ増強は、テクスチャに依存せず、形状や構造に注目する表現を生成するか？
• RQ3 ガウスノイズやスタイル変換と比較して、テクスチャ抑制は多様なデータセットにおいて性能と頑健性の面で優れているか？
• RQ4 提案手法は、CNNにおける高周波数のテクスチャ情報への依存度をどの程度低減するか？
• RQ5 テクスチャが誤った相関要因（スパuriousな特徴）となるデータセット、例えばSynthetic-DTDやGSTにおいて、性能が向上するか？

主な発見

• 提案手法はSketch-ImageNetで11.49%の精度向上を達成し、高レベルの形状ベースの表現をより強く学習していることが示された。
• Synthetic-DTDデータセットでは10.41%の性能向上を示し、テクスチャへの依存度が低下し、一般化性能が向上していることが確認された。
• VOC、DTD、Cars、Aircraftを含む複数の転移学習ベンチマークにおいて、ガウスノイズおよびStylized-ImageNetの両方を上回る性能を達成した。
• サリエンシー地図の定性的な分析から、モデルが高周波数のテクスチャ情報に依存する度合いが低く、構造的特徴に注目していることが確認された。
• 最も良い性能は、シンプルなPerona-Malik非等方的拡散手法で達成されたが、反復回数を増やすと分布シフトの影響で性能が低下した。
• GSTデータセットでは、形状ベース分類タスクで1.02%の向上を示し、テクスチャバイアスが低減していることが示された。