[論文レビュー] Increasing Shape Bias in ImageNet-Trained Networks Using Transfer Learning and Domain-Adversarial Methods

Françis Brochu|arXiv (Cornell University)|Jul 30, 2019

Domain Adaptation and Few-Shot Learning参考文献 13被引用数 6

ひとこと要約

本論文では、スタイル変換によるデータ拡張とドメイン対抗訓練を組み合わせることで、ImageNetで事前学習されたCNNにおける形状バイアスを向上させる手法を提案する。このアプローチは、正確性を損なわずにテクスチャや色の変化に対して頑健性を向上させ、ドメイン対抗訓練により複数のデータセットにおいてスタイル化されたテストセットでも性能が向上し、形状に基づく一般化能の向上が確認された。

ABSTRACT

Convolutional Neural Networks (CNNs) have become the state-of-the-art method to learn from image data. However, recent research shows that they may include a texture and colour bias in their representation, contrary to the intuition that they learn the shapes of the image content and to human biological learning. Thus, recent works have attempted to increase the shape bias in CNNs in order to train more robust and accurate networks on tasks. One such approach uses style-transfer in order to remove texture clues from the data. This work reproduces this methodology on four image classification datasets, as well as extends the method to use domain-adversarial training in order to further increase the shape bias in the learned representation. The results show the proposed method increases the robustness and shape bias of the CNNs, while it does not provide a gain in accuracy.

研究の動機と目的

• ImageNetで学習されたCNNに顕著なテクスチャおよび色バイアスが存在するという事実を是正すること。このバイアスは、形状に基づく一般化能の低下を引き起こす。
• スタイル変換によるデータ拡張が、多様な画像分類タスクにおいてCNNの形状バイアスと頑健性を向上させられるかどうかを調査すること。
• スタイル変換とドメイン対抗訓練を統合することで、モデルの形状バイアスおよび一般化能力が向上するかどうかを評価すること。
• 提案手法が、オリジナルデータセットの性能を維持または向上させながら、スタイル化されたテストセットにおける頑健性を向上させるかどうかを特定すること。

提案手法

• アート的なスタイルのテクスチャおよび色の手がかりに置き換えることで、形状情報のみを保持するように、ニューラルスタイル変換を用いて訓練データを拡張する。
• オリジナル画像とスタイル変換済み画像の混合データセットを用いてCNNを学習させ、形状に基づく特徴抽出を促進する。
• ドメイン判別器を追加することでドメイン対抗訓練を導入し、特徴抽出器がドメイン不変の表現を生成するように促進する。
• 分類損失とドメイン対抗損失を組み合わせたマルチタスク損失を用い、正確性とドメイン不変性を同時に最適化する。
• SqueezeNet 1.1およびResNet-34アーキテクチャを用い、Dice、Dogs vs. Cats、Dog Breed Identification、Food101の4つのデータセットでファインチューニングを行う。
• オリジナル（ベース）およびスタイル化されたテストセットの両方でモデルを評価し、形状バイアスと頑健性を測定する。

実験結果

リサーチクエスチョン

• RQ1 スタイル変換によるデータ拡張とドメイン対抗訓練を組み合わせることで、ImageNetで事前学習されたCNNにおける形状バイアスが向上するか？
• RQ2 提案手法は、ベースラインモデルと比較して、スタイル化されたテストセットにおける頑健性をどの程度向上させるか？
• RQ3 ドメイン対抗訓練の導入により、オリジナルデータおよびスタイル化されたデータの両方で、より良い一般化と高い正確性が達成されるか？
• RQ4 オリジナルデータセットの正確性を維持または向上させながら、顕著に形状に基づく一般化能を向上させられるか？
• RQ5 異なる複雑さとクラス多様性を有するデータセットにおいて、提案手法の性能はどのように変動するか？

主な発見

• 提案手法は、4つのすべてのデータセットにおいて形状バイアスと頑健性を向上させたが、オリジナル（ベース）テストセットでの正確性に劣化は認められなかった。
• Dog Breed Identification（DBI）データセットでは、ドメイン対抗モデルがベースセットで93.85%、スタイル化されたセットで94.21%の正確性を達成し、スタイル化されたセットでベースラインを上回った。
• Food101データセットでは、ドメイン対抗モデルがスタイル化されたセットで90.36%の正確性を達成したが、ベースセットでは92.90%であった。これは、絶対的正確性が低くても、頑健性が向上していることを示している。
• ドメイン対抗訓練により、DBIデータセットではスタイル化されたテストセットで1.02%の正確性向上が、Food101データセットでは2.54%の向上が確認された。
• ベース画像とスタイル化された画像を混合して訓練しても、ベース正確性は向上しなかったが、スタイル化されたデータでの性能は顕著に向上した。これは、形状バイアスの向上を示している。
• ドメイン対抗成分は正則化効果を発揮し、一般化能力を向上させ、特に複雑でクラス識別が困難なデータセットでは、テクスチャに過剰に依存する傾向を軽減した。