[論文レビュー] Adaptation Across Extreme Variations using Unlabeled Domain Bridges

Shuyang Dai, Kihyuk Sohn+3 more|arXiv (Cornell University)|Jun 5, 2019

Domain Adaptation and Few-Shot Learning参考文献 53被引用数 7

ひとこと要約

本稿では、ソースドメインとターゲットドメインの間の大きなドメイン差を、ラベルなしのブリッジドメインを導入することで低減するドメイン適応フレームワークを提案する。複数の識別器を用いてドメイン adversarial ネットワークを拡張し、ブリッジを介した段階的差を最小化することで、極端なドメインシフト下でも物体認識およびセマンティックセグメンテーションのタスクで顕著な性能向上を達成した。

ABSTRACT

We tackle an unsupervised domain adaptation problem for which the domain discrepancy between labeled source and unlabeled target domains is large, due to many factors of inter and intra-domain variation. While deep domain adaptation methods have been realized by reducing the domain discrepancy, these are difficult to apply when domains are significantly unalike. In this work, we propose to decompose domain discrepancy into multiple but smaller, and thus easier to minimize, discrepancies by introducing unlabeled bridging domains that connect the source and target domains. We realize our proposal through an extension of the domain adversarial neural network with multiple discriminators, each of which accounts for reducing discrepancies between unlabeled (bridge, target) domains and a mix of all precedent domains including source. We validate the effectiveness of our method on several adaptation tasks including object recognition and semantic segmentation.

研究の動機と目的

• 照明、視点、解像度などの要因によるドメイン内およびドメイン間要因に起因する極端なドメイン変動が生じる状況における教師なしドメイン適応を扱う。
• ソースドメインとターゲットドメインが互いに著しく異なる場合に困難を示す標準的なドメイン adversarial ネットワークの限界を克服する。
• ソースドメインおよびターゲットドメインの一部の特徴（例：照明）を共有するラベルなしのブリッジドメインを導入し、大きなドメイン差をより小さい段階に分解することで管理可能なステップに分離する。
• 中間のブリッジドメインを介して、ソースからターゲットへの表現を段階的に整列させるマルチステージの敵対的フレームワークを開発する。
• 極端なドメインシフト下で、物体認識およびセマンティックセグメンテーションなどの挑戦的な視覚タスクにおいて、本手法の有効性を実証する。

提案手法

• ソースドメインと一部の要因（例：照明）を共有し、ターゲットドメインと他の要因（例：視点、解像度）を共有するラベルなしのブリッジドメインを導入する。
• ドメイン adversarial ニューラルネットワーク（DANN）を複数の識別器で拡張し、各識別器が、ソースを含むすべての先行ドメインの混合とブリッジドメインの間の差を最小化する責任を負う。
• ドメイン識別器を用いて、適応パイプラインの各段階でドメイン不変表現を強制する。
• 訓練目的を、ターゲット誤差の上限を最小化する形に定式化する。この上限には、ソース誤差と、各ブリッジドメインとその累積的先行ドメイン混合との差分が含まれる。
• 敵対的訓練プロセスにおいて、d-Score および MMD（Maximum Mean Discrepancy）をドメイン差分測定指標として併用する。
• 共有の特徴抽出器と各適応段階ごとの分離ドメイン識別器を用いて、エンドツーエンドでモデルを訓練し、段階的ドメイン整列を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ソースドメインとターゲットドメインに極端な変動が生じる状況において、中間のラベルなしブリッジドメインを導入することでドメイン適応の性能が向上するか？
• RQ2 大きな単一ドメイン差を、ブリッジドメインを介して複数の小さな差に分解することで、直接的な適応よりも優れた表現整列が達成できるか？
• RQ3 ブリッジドメインの数が、視覚タスクにおける教師なしドメイン適応の性能に与える影響は何か？
• RQ4 提案されたマルチステージ敵対的フレームワークは、ドメインシフト下のセマンティックセグメンテーションにおいて、標準的な DANN や単純なドメインマージベースラインを上回る性能を示せるか？
• RQ5 fog、照明、視点など、異なる種類のドメインシフトに対して、ブリッジドメインの有効性は一貫して高いか？

主な発見

• 1つのブリッジドメイン（GTA5 → Cityscapes → Foggy Cityscapes 0.02）を用いることで、直接適応（GTA5 → F₀.₀₂）と比較して、Foggy Cityscapes 0.02 テストセットにおけるmIoUが33.08から34.82に向上した。
• 2つのブリッジドメイン（GTA5 → Cityscapes → Foggy Cityscapes 0.01 → Foggy Cityscapes 0.02）を用いたモデルは、mIoUが35.31に達し、1ブリッジおよび直接適応のベースラインを顕著に上回った。
• Cityscapes と Foggy Cityscapes 0.02 を1つのラベルなしドメインとして単純にマージした場合（GTA5 → City + F₀.₀₂）は、性能が悪く（32.62 mIoU）、性質が著しく異なるドメインをマージすると適応品質が低下することが示された。
• 2つのブリッジドメインを用いた場合の性能向上（35.31 mIoU）は、1つのみを用いた場合（34.82 mIoU）よりも顕著であり、無駄にラベルなし画像の総数を増やさずに、マルチステージ整列の利点が裏付けられた。
• 本手法は、物体認識およびセマンティックセグメンテーションを含む複数のタスクで一貫した向上を達成し、極端なドメインシフトへの一般化可能性を裏付けた。
• d-Score および MMD を差分測定指標として用いることで、ブリッジドメインなしのケースと比較して、SV4–5 テストセットでの性能が向上し、提案フレームワークの有効性を確認した。