[論文レビュー] SPLAT: Semantic Pixel-Level Adaptation Transforms for Detection

Eric Tzeng, Kaylee Burns+2 more|arXiv (Cornell University)|Dec 3, 2018

Domain Adaptation and Few-Shot Learning参考文献 31被引用数 13

ひとこと要約

SPLATは、ソースドメインにおけるセマンティックセグメンテーションラベルを用いてサイクルなし変換ネットワークを学習する、オブジェクト検出のための画素レベルのドメイン適応手法を提案する。従来手法と比較して検出mAPを12.5ポイント向上させ、CyCADAのようなサイクルベース手法と比較して3.8倍高速な学習を達成している。Sim10KからCityscapesへのベンチマークで優れた性能を示している。

ABSTRACT

Domain adaptation of visual detectors is a critical challenge, yet existing methods have overlooked pixel appearance transformations, focusing instead on bootstrapping and/or domain confusion losses. We propose a Semantic Pixel-Level Adaptation Transform (SPLAT) approach to detector adaptation that efficiently generates cross-domain image pairs. Our model uses aligned-pair and/or pseudo-label losses to adapt an object detector to the target domain, and can learn transformations with or without densely labeled data in the source (e.g. semantic segmentation annotations). Without dense labels, as is the case when only detection labels are available in the source, transformations are learned using CycleGAN alignment. Otherwise, when dense labels are available we introduce a more efficient cycle-free method, which exploits pixel-level semantic labels to condition the training of the transformation network. The end task is then trained using detection box labels from the source, potentially including labels inferred on unlabeled source data. We show both that pixel-level transforms outperform prior approaches to detector domain adaptation, and that our cycle-free method outperforms prior models for unconstrained cycle-based learning of generic transformations while running 3.8 times faster. Our combined model improves on prior detection baselines by 12.5 mAP adapting from Sim 10K to Cityscapes, recovering over 50% of the missing performance between the unadapted baseline and the labeled-target upper bound.

研究の動機と目的

• 合成から現実世界のドライブシーンへの転移において、ドメインシフトの課題に対処すること。
• 特徴レベルのドメイン混乱に依存するか、効果的な画素レベルの画像変換を欠く従来のドメイン適応手法の限界を克服すること。
• セマンティックセグメンテーションラベルを監督として用いて、画素レベルの画像間変換を学習する高速でサイクルのない手法を開発すること。
• ラベル付きソースデータと、ラベルなしソースデータに対する疑似ラベルを活用することで、Sim10KからCityscapesへのベンチマークにおける検出性能を向上させること。
• サイクル整合性GANベースの手法と比較して、著しく短い学習時間で最先端の検出mAPを達成すること。

提案手法

• ソース画像をターゲットドメインのスタイルに変換した画像上で検出器を学習するために、アライメントペア損失と疑似ラベル損失を活用する。
• ソースドメインにおけるセマンティックセグメンテーションラベルに条件付けられたサイクルなし変換ネットワークを用い、現実的なターゲットスタイルの画像を生成する。
• 生成器がセマンティック一貫性を保つように制約する、新しいセマンティック画素予測損失を導入して、画素変換ネットワークを学習する。
• 変換済みソース画像と元のソース検出ラベル（ラベルなしデータに対する推定ラベルを含む）を統合し、最終的な検出器を学習する。
• サイクル整合性制約をセマンティックラベルの監視に置き換え、ターゲットからソースへの翻訳を必要としないまま、より高速で安定した学習を可能にする。
• サイクル制約が欠如する状況でも学習の安定性を確保するため、スペクトル正規化やその他のGAN安定化技術を用いる。

実験結果

リサーチクエスチョン

• RQ1 特徴レベルのドメイン混乱と比較して、画素レベルの画像間変換はオブジェクト検出のドメイン適応を改善できるか？
• RQ2 セマンティックセグメンテーションの監視のもとで学習されるサイクルなし変換ネットワークは、サイクル整合性GANを上回る検出適応性能を達成できるか？
• RQ3 ソースドメインにおけるセマンティックセグメンテーションラベルの導入が、学習された画素変換の品質と効率に与える影響は何か？
• RQ4 本手法は、サイクルベースの手法と比較して、より高速な学習を達成できるか、かつ検出性能を維持または向上できるか？
• RQ5 ラベルなしソースデータに対する疑似ラベル化の導入が、ドメイン適応における検出性能にどの程度向上効果をもたらすか？

主な発見

• SPLATは、Sim10KからCityscapesへのベンチマークで、従来手法と比較してmAPを12.5ポイント向上させ、新たな最先端性能を樹立した。
• 提案されたサイクルなし手法であるSPLAT-liteは、Cityscapesで51.5 mAPを達成し、サイクルベースのSPLAT-cycle（48.1 mAP）を上回った。
• SPLAT-liteは、SPLAT-cycleと比較して3.84倍高速に学習が可能であり、Tesla P100で1枚あたり0.098秒の学習イテレーション時間を達成した。
• サイクルなしアプローチは、CyCADAのようなサイクル整合性モデルが抱える問題（例：非現実的な文脈におけるボンネットの出現など）を回避した。
• SPLAT-liteは、パラメータ数が少ないにもかかわらず、過大なパラメータ数を有するSPLAT-bigと比較して、よりクリアでコンテンツを保った画像を生成した。
• セマンティックセグメンテーションラベルの活用により、サイクル制約なしで信頼性の高い画素レベル変換が可能となり、速度と精度の両方を向上させた。