[論文レビュー] Semi-supervised domain adaptation with CycleGAN guided by a downstream task loss

Annika Mütze, Matthias Rottmann+1 more|arXiv (Cornell University)|Aug 18, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、下流のセマンティックセグメンテーションタスクの損失によってCycleGANジェネレータをガイドすることで、分類ネットワークの再訓練を伴わずにドメインシフトを低減するモジュラーな半教師付きドメイン適応手法を提案する。わずか14～70枚の実世界の正例画像を用いるだけで、CityscapesではmIoUを4～7ポイント向上させ、分類タスクでは7ポイントの精度向上を達成し、標準的なCycleGANや从来の訓練法を上回る性能を示した。

ABSTRACT

Domain adaptation is of huge interest as labeling is an expensive and error-prone task, especially when labels are needed on pixel-level like in semantic segmentation. Therefore, one would like to be able to train neural networks on synthetic domains, where data is abundant and labels are precise. However, these models often perform poorly on out-of-domain images. To mitigate the shift in the input, image-to-image approaches can be used. Nevertheless, standard image-to-image approaches that bridge the domain of deployment with the synthetic training domain do not focus on the downstream task but only on the visual inspection level. We therefore propose a "task aware" version of a GAN in an image-to-image domain adaptation approach. With the help of a small amount of labeled ground truth data, we guide the image-to-image translation to a more suitable input image for a semantic segmentation network trained on synthetic data (synthetic-domain expert). The main contributions of this work are 1) a modular semi-supervised domain adaptation method for semantic segmentation by training a downstream task aware CycleGAN while refraining from adapting the synthetic semantic segmentation expert 2) the demonstration that the method is applicable to complex domain adaptation tasks and 3) a less biased domain gap analysis by using from scratch networks. We evaluate our method on a classification task as well as on semantic segmentation. Our experiments demonstrate that our method outperforms CycleGAN - a standard image-to-image approach - by 7 percent points in accuracy in a classification task using only 70 (10%) ground truth images. For semantic segmentation we can show an improvement of about 4 to 7 percent points in mean Intersection over union on the Cityscapes evaluation dataset with only 14 ground truth images during training.

研究の動機と目的

• 合成データで訓練されたモデルを実世界の画像に適用する際のドメインシフトを解消すること。
• 大規模な実世界アノテーションに依存することを減らし、少数のラベル付き実画像のみを用いること。
• 事前学習済みの合成ドメイン分類ネットワークを保ちながら、モジュラーなドメイン適応フレームワークを開発すること。
• 下流ネットワークの性能に従ってガイドされるタスクに適応した画像間変換により、効果的な適応を可能にすること。
• ImageNetの事前学習バイアスを回避するため、すべてのコンポONENTを从来から訓練することで、より偏りの少ないドメインギャップ分析を提供すること。

提案手法

• 実世界の画像を合成ドメインの分布に変換するための、CycleGANに基づく画像間変換ネットワークを訓練する。
• 事前学習済みのセマンティックセグメンテーションネットワークの特徴マップから導出された損失によって、ジェネレータをガイドすることで、変換がタスクに適応するようにする。
• 2段階の訓練を実施：まず、CycleGANの教師なし事前学習を行い、次に少数の実世界正例画像を用いたファインチューニングを行う。
• 下流タスクの損失を第2段階で適用し、変換された画像をセマンティックセグメンテーションネットワークの期待と一致させる。
• 元の合成ドメイン分類ネットワークを変更せず、モularityを保ち、再訓練を回避する。
• 実世界および合成データを用いた画像分類およびセマンティックセグメンテーションタスクで、本手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 下流のセマンティックセグメンテーションタスクによってガイドされたCycleGANベースの画像間変換手法は、ドメインシフトを効果的に低減できるか？
• RQ2 わずか少数の実世界ラベル付き画像を用いた場合、mIoUおよび精度はどの程度向上するか？
• RQ3 すべてのコンポONENTを从来から訓練することで、ImageNet事前学習バックボーンを用いた場合と比較して、より偏りの少ないドメインギャップ分析が得られるか？
• RQ4 タスクに適応した変換は、複雑なドメイン適応タスクにおいて、標準的なCycleGANや从来の訓練法を上回る性能を示せるか？
• RQ5 抽象的な表現（例：スケッチ、シミュレーション）を中間ドメインとして用いることで、一般化性能の向上に寄与するか？

主な発見

• 本手法は、トレーニング中にわずか14枚の実世界正例画像を用いるだけで、CityscapesデータセットでmIoUを4～7ポイント向上させた。
• 分類タスクでは、70枚（10%）の実世界正例画像を用いるだけで、標準的なCycleGANよりも7ポイントの精度向上を達成した。
• 未変換の実画像ではmIoUが9%にとどまるが、本手法による適応により40%以上に上昇し、ドメインシフトが顕著に低減されたことが示された。
• ジェネレータおよびセグメンテーションネットワークの両方を从来から訓練したことで、ImageNet事前学習がギャップ評価に歪みをもたらす可能性があることが明らかになった。
• 第2段階の教師なし事前学習を長くしても結果に顕著な向上はなく、中程度の訓練で十分な初期化が可能であることが示された。
• 本手法は、最小限の実世界ラベルに依存しながらも、セマンティックセグメンテーションを含む複雑なタスクにおいて優れた一般化性能を示した。