[論文レビュー] Progressive Domain Adaptation for Object Detection

Han-Kai Hsu, Chun-Han Yao+5 more|arXiv (Cornell University)|Oct 24, 2019

Domain Adaptation and Few-Shot Learning被引用数 25

ひとこと要約

本論文は、GANを用いた画像対画像変換により生成された合成中間ドメインを介して、ソースドメインとターゲットドメインのドメインギャップを埋める、段階的ドメイン適応フレームワークを提案する。ソースから中間ドメイン、そして中間ドメインからターゲットドメインへの段階的特徴マッピングと、品質に配慮した重み付き損失を適用することで、天候の変化や大規模データセットへの適応といった複数の現実世界の適応シナリオにおいて、最先端のmAP性能を達成する。

ABSTRACT

Recent deep learning methods for object detection rely on a large amount of bounding box annotations. Collecting these annotations is laborious and costly, yet supervised models do not generalize well when testing on images from a different distribution. Domain adaptation provides a solution by adapting existing labels to the target testing data. However, a large gap between domains could make adaptation a challenging task, which leads to unstable training processes and sub-optimal results. In this paper, we propose to bridge the domain gap with an intermediate domain and progressively solve easier adaptation subtasks. This intermediate domain is constructed by translating the source images to mimic the ones in the target domain. To tackle the domain-shift problem, we adopt adversarial learning to align distributions at the feature level. In addition, a weighted task loss is applied to deal with unbalanced image quality in the intermediate domain. Experimental results show that our method performs favorably against the state-of-the-art method in terms of the performance on the target domain.

研究の動機と目的

• トレーニングデータとテストデータが異なる分布に由来する物体検出におけるドメインシフトの課題に対処すること。
• ソースドメインとターゲットドメインの間に位置する合成中間ドメインを導入することで、直接的なドメイン適応の難易度を軽減すること。
• 天候の変化やカメラの違いといった大きなドメインギャップが生じる状況において、モデルの汎化性能とトレーニングの安定性を向上させること。
• 中間ドメインにおける合成画像の品質のばらつきを考慮するための重み付き損失メカニズムを開発すること。
• クロスデータセットや大規模ドメインシフトを含む多様な適応設定下で、物体検出ベンチマークにおいて最先端の性能を達成すること。

提案手法

• GANベースの画像対画像変換ネットワークを用いて、ソース画像をターゲットドメインの画像に似せるように変換することで、中間ドメインを構築する。
• まずソースドメインと中間ドメインの特徴を、次に中間ドメインとターゲットドメインの特徴をそれぞれ段階的にアライメントすることで、段階的ドメイン適応を実現する。
• 中間段階および最終段階で、敵対的学習を用いてドメイン間の特徴分布をアライメントする。
• 識別器の出力をもとに、ターゲットドメイン分布に近い合成画像に高い重みを付与する重み付きタスク損失を導入する。
• 中間ドメインをブリッジとして、大きなドメインギャップを2つのより小さい、取り扱いやすい適応サブタスクに分解する。
• 重み付き損失を用いて低品質な変換画像に起因するノイズの影響を軽減しつつ、ドメインアライメントと検出損失を統合的に最適化することで、検出モデルをエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 中間の合成ドメインを導入することで、ドメイン間適応タスクにおける物体検出モデルの性能が向上するか？
• RQ2 中間ドメインを通じた段階的適応は、直接的なドメイン適応と比較して、より安定した学習とより優れた汎化性能をもたらすか？
• RQ3 中間ドメインにおける合成画像の品質がモデル性能に与える影響は何か？ また、その影響は効果的に軽減可能か？
• RQ4 提案手法は、多様な現実世界の物体検出ベンチマークにおいて、既存の最先端のドメイン適応手法を上回る性能を示せるか？
• RQ5 小規模で正確にアノテーションが付与されたデータセットから、大規模で多様性に富み、ラベルなしのターゲットデータセットへの適応において、この手法はどの程度汎化可能か？

主な発見

• Cityscapes → BDD100k デイタイム適応タスクにおいて、提案手法は24.3%のmAPを達成し、ベースライン手法[3]を3.1%上回り、オラクルモデルを19.0%上回った。
• KITTI → Cityscapes 適応タスクにおいて、段階的適応と合成データを用いることで、mAPをベースラインの20.8%から24.3%まで向上させた。
• Cityscapes → Foggy Cityscapes タスクにおいて、23.7%のmAPを達成し、悪天候条件下でも強力な性能を示した。
• 中間ドメインにおける重み付き損失の導入により、低品質な合成画像の悪影響が軽減され、モデルのロバスト性と性能が向上した。
• クロスカメラ、天候、大規模データセット適応を含む複数の適応シナリオにおいて、一貫した性能向上が確認された。
• 定性的な結果から、特に困難な環境下でも、物体の検出精度と汎化性能が向上していることが示された。