[論文レビュー] A Curriculum Domain Adaptation Approach to the Semantic Segmentation of Urban Scenes

Yang Zhang, Philip David+2 more|arXiv (Cornell University)|Dec 24, 2018

Advanced Neural Network Applications参考文献 104被引用数 8

ひとこと要約

本論文は、都市景観における意味的セグメンテーションのためのカリキュラムドメイン適応手法を提案する。本手法は、実画像から学習可能な容易なグローバルおよびローカルラベル分布を活用し、合成データにおける学習を指導致し、正則化する。本手法はGTA2CityscapesおよびCityscapesで複数のベースラインを上回り、最先端の性能を達成し、先行手法比最大11.1%のmIoU向上を達成する。

ABSTRACT

During the last half decade, convolutional neural networks (CNNs) have triumphed over semantic segmentation, which is one of the core tasks in many applications such as autonomous driving and augmented reality. However, to train CNNs requires a considerable amount of data, which is difficult to collect and laborious to annotate. Recent advances in computer graphics make it possible to train CNNs on photo-realistic synthetic imagery with computer-generated annotations. Despite this, the domain mismatch between the real images and the synthetic data hinders the models' performance. Hence, we propose a curriculum-style learning approach to minimizing the domain gap in urban scene semantic segmentation. The curriculum domain adaptation solves easy tasks first to infer necessary properties about the target domain; in particular, the first task is to learn global label distributions over images and local distributions over landmark superpixels. These are easy to estimate because images of urban scenes have strong idiosyncrasies (e.g., the size and spatial relations of buildings, streets, cars, etc.). We then train a segmentation network, while regularizing its predictions in the target domain to follow those inferred properties. In experiments, our method outperforms the baselines on two datasets and two backbone networks. We also report extensive ablation studies about our approach.

研究の動機と目的

• 写真のようにリアルな合成画像と実都市景観の間のドメインギャップを解消すること。
• 実画像の自己教師的性質を活用することで、高価な人手によるラベル付き実データへの依存度を低減すること。
• 合成データで学習したモデルの、実世界のテストドメインへの一般化性能を向上させること。
• グローバルおよびローカルラベル分布を学習することが、ドメイン適応の有効なインダクティブバイアスとして機能するかを検証すること。
• 密予測タスクにおけるドメイン適応の文脈で、カリキュラム学習の有効性を検証すること。

提案手法

• 本手法はまず、ターゲットドメイン全体のグローバルラベル分布と、ターゲットドメイン内のスパーキル（超ピクセル）におけるローカルラベル分布を推定する。
• これらの分布が、合成データにおける学習中にセグメンテーションネットワークを正則化するための監視信号として用いられる。
• 本手法はカリキュラム学習戦略を採用し、ピクセル単位のセグメンテーションよりも前に、より簡単な補助タスク（分布推定）を解く。
• スパーキルはSLICを用いて生成され、ローカルラベル分布を推定するためのローカル領域として定義される。
• 正則化項は、モデルの実画像に対する予測が、推定されたグローバルおよびローカルラベル分布と一致するように制約を課す。
• フレームワークは、ピクセル単位の交差エントロピーと分布一致正則化を組み合わせたマルチタスク損失を用いて、エンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 実画像からグローバルおよびローカルラベル分布を学習することで、意味的セグメンテーションにおけるドメイン適応が向上するか？
• RQ2 分布推定を最初のタスクとするカリキュラム学習戦略は、直接的なドメイン適応と比較して性能向上をもたらすか？
• RQ3 分布に基づく正則化は、合成画像と実都市景観の間のドメインシフトをどれほど効果的に低減できるか？
• RQ4 異なるバックボーンネットワークやデータ分割が、提案手法の性能に与える影響は何か？
• RQ5 学習されたラベル分布は、現実世界のシーンにおけるクラスの曖昧さや視覚的変化に対して頑健か？

主な発見

• 提案されたカリキュラムドメイン適応手法は、GTA2Cityscapesベンチマークで29.7%のmIoUを達成し、比較した全ベースラインを上回る。
• Cityscapesでは31.4%のmIoUを達成し、同じVGG-19バックボーンを用いたベースライン手法比で11.1%の向上を達成した。
• アブレーションスタディにより、グローバルおよびローカルラベル分布の監視が、性能向上に顕著に寄与することが確認された。
• 本手法は、VGG-19、DRN-26、ResNet-101を含む複数のバックボーンネットワークで一貫した向上を示した。
• クラスごとの分析から、'電車'や'バス'のような曖昧なクラスは依然として課題であり、現在の合成データの忠実度の限界を示している。
• フレームワークは仮想環境へも良好に一般化可能であり、シミュレーションベースの自動運転プラットフォームへの応用可能性を示唆している。