[論文レビュー] DCAN: Dual Channel-wise Alignment Networks for Unsupervised Scene Adaptation

Zuxuan Wu, Xintong Han+5 more|arXiv (Cornell University)|Apr 16, 2018

Domain Adaptation and Few-Shot Learning参考文献 58被引用数 22

ひとこと要約

DCANは、ピクセルレベルの画像生成器でターゲットドメインに類似した画像を合成し、その後セマンティックセグメンテーションネットワークで高レベル特徴を精緻化することで、二重のチャネル別特徴アライメントを実行する、軽量でエンドツーエンドのフレームワークを提案する。この手法は、敵対的訓練を用いないまま、SynthiaからCityscapesへのドメイン適応において最先端の性能を達成し、最大1.4%のmIoU向上を実現した。

ABSTRACT

Harvesting dense pixel-level annotations to train deep neural networks for semantic segmentation is extremely expensive and unwieldy at scale. While learning from synthetic data where labels are readily available sounds promising, performance degrades significantly when testing on novel realistic data due to domain discrepancies. We present Dual Channel-wise Alignment Networks (DCAN), a simple yet effective approach to reduce domain shift at both pixel-level and feature-level. Exploring statistics in each channel of CNN feature maps, our framework performs channel-wise feature alignment, which preserves spatial structures and semantic information, in both an image generator and a segmentation network. In particular, given an image from the source domain and unlabeled samples from the target domain, the generator synthesizes new images on-the-fly to resemble samples from the target domain in appearance and the segmentation network further refines high-level features before predicting semantic maps, both of which leverage feature statistics of sampled images from the target domain. Unlike much recent and concurrent work relying on adversarial training, our framework is lightweight and easy to train. Extensive experiments on adapting models trained on synthetic segmentation benchmarks to real urban scenes demonstrate the effectiveness of the proposed framework.

研究の動機と目的

• 合成された都市風のシーンから現実の都市風のシーンへのモデル転送において、ドメインシフトを解消すること。
• 敵対的訓練に依存せずに、ピクセルレベルおよび特徴レベルのドメイン差を低減すること。
• チャネル別正規化を用いることで、ドメイン適応中に空間的構造と意味的情報を保持すること。
• ターゲットドメイン画像の確率的サンプリングを用いて、一般化性能と学習効率を向上させること。

提案手法

• フレームワークは、ソースドメインとターゲットドメインの特徴マップのチャネル別統計を一致させるためにインスタンス正規化を用いる。
• 画像生成器は、ランダムにサンプリングされたターゲットドメインの画像のスタイルに合わせてソース画像を合成し、ピクセルレベルのドメインアライメントを可能にする。
• セグメンテーションネットワークは、ターゲットドメインの統計を用いてチャネル別特徴アライメントを適用し、高レベル特徴を精緻化する。
• ターゲット画像の確率的サンプリングにより正則化と計算効率が得られ、全数列挙を回避する。
• 敵対的損失を一切用いないエンドツーエンドの学習により、軽量で最適化が容易なシステムが実現される。
• 特徴アライメントはセグメンテーションネットワークの複数のレイヤーに適用され、FCN8s-VGG16ではConv3層後に最適な性能が得られる。

実験結果

リサーチクエスチョン

• RQ1 チャネル別特徴アライメントは、セマンティックセグメンテーションにおけるピクセル空間および特徴空間のドメインシフトを効果的に低減できるか？
• RQ2 全数列挙と比較して、ターゲットドメイン画像の確率的サンプリングは性能と学習効率においてどのように異なるか？
• RQ3 グローバル特徴アライメント手法と比較して、チャネル別アライメントは空間的構造と意味的情報をよりよく保持できるか？
• RQ4 敵対的訓練を用いないフレームワークが、非教師付きシーン適応において最先端の敵対的手法を上回ることができるか？
• RQ5 ネットワーク内のどの位置でチャネル別アライメントがセグメンテーション性能に対して最も効果的か？

主な発見

• DCANは、Synthia-to-Cityscapesベンチマークで35.4%のmIoUを達成し、ベースライン手法を1.4%上回った。
• 敵対的ベースライン（ADDa）が34.0% mIoUを達成したのに対し、DCANはより高速な収束を示し、敵対的訓練を一切不要とした。
• 1～8枚のターゲット画像をソース画像ごとに確率的サンプリングすることで、全3,000枚の使用よりも高い性能が得られ、正則化効果が示された。
• FCN8s-VGG16では、特徴マップに十分な空間的分解能とチャネル容量があるConv3層後にアライメントを適用すると最適な性能が得られた。
• PSPNetやFCN8s-ResNet101では、1枚のサンプリングされたターゲット画像のみを用いても競争力のある結果が得られ、データが限られた状況下でも高い効率性を示した。
• MMD や CORAL などの特徴アライメント手法は、ソースのみのベースラインよりも性能が劣った。これは、チャネル別正規化の優位性を示している。