[論文レビュー] ADVENT: Adversarial Entropy Minimization for Domain Adaptation in Semantic Segmentation

Tuan-Hung Vu, Himalaya Jain+3 more|arXiv (Cornell University)|Nov 30, 2018

Domain Adaptation and Few-Shot Learning参考文献 60被引用数 1,403

ひとこと要約

本論文はセマンティックセグメンテーションのエントロピーに基づく教師なしドメイン適応を導入し、直接のエントロピー最小化と敵対的エントロピー最小化（AdvEnt）アプローチを提示、GTA5→Cityscapes および SYNTHIA→Cityscapes の synthetic-to-real ベンチマークで最先端の結果を達成。

ABSTRACT

Semantic segmentation is a key problem for many computer vision tasks. While approaches based on convolutional neural networks constantly break new records on different benchmarks, generalizing well to diverse testing environments remains a major challenge. In numerous real world applications, there is indeed a large gap between data distributions in train and test domains, which results in severe performance loss at run-time. In this work, we address the task of unsupervised domain adaptation in semantic segmentation with losses based on the entropy of the pixel-wise predictions. To this end, we propose two novel, complementary methods using (i) entropy loss and (ii) adversarial loss respectively. We demonstrate state-of-the-art performance in semantic segmentation on two challenging "synthetic-2-real" set-ups and show that the approach can also be used for detection.

研究の動機と目的

• セマンティックセグメンテーションにおける合成データ（ソース）と実データ（ターゲット）間のドメインギャップを縮小する。
• ターゲットラベルなしで低エントロピー（自信のある）ターゲット予測を促すエントロピーベースの目的を導入する。
• ソースとターゲットの間で重み付き自己情報を整合させる敵対的拡張を提案する。
• エントロピー範囲での訓練やクラス比先行情報を組み込むなど、実用的な改善を検討して性能を向上させる。

提案手法

• ターゲット予測にエントロピー損失を追加して低エントロピー出力を促す直接的なエントロピー最小化（MinEnt）。
• 二つ目のアプローチ（AdvEnt）は、重み付き自己情報マップに対する敵対的訓練を用いて、識別器を介してソースとターゲットの予測構造を整合させる。
• 自己情報マップ I_x を I_x^{(h,w)} = -P_x^{(h,w)} log P_x^{(h,w)} と定義し、識別器 D を用いてソース対ターゲットを識別させる; F を欺くように訓練する（L_D を最小化）。
• ソース上の教師ありセグメンテーション損失を、ターゲット上のエントロピー損失または敵対損失（L_ent または L_adv）と統合した一体化された目的関数。
• ターゲット予測を正則化するために、ソースからのクラス比 priors を任意で取り入れる（L_cp）。
• 自己学習との関係を論じ、エントロピー最小化が固定閾値なしのソフトでレンジベースの擬似ラベリングの代理として機能することを強調する。

実験結果

リサーチクエスチョン

• RQ1 ターゲットラベルなしで、エントロピーベースの目的はセマンティックセグメンテーションのドメイン適応を改善できるか。
• RQ2 直接的なエントロピー最小化（MinEnt）は、敵対的エントロピー最小化（AdvEnt）と比べてソースとターゲットのギャップを埋める上でどうか。
• RQ3 重み付き自己情報の敵対的整列による構造情報の組み込みは、ピクセル単位のエントロピー最小化より成果を改善するか。
• RQ4 エントロピー範囲での訓練とクラス比 priors は、難易度の高い synthetic-to-real 設定で実質的な改善をもたらすか。

主な発見

• AdvEnt は GTA5→Cityscapes で最先端の結果を達成し、SYNTHIA→Cityscapes のベースラインを改善、敵対的構造整列による顕著な向上が見られる。
• 直接的な MinEnt は競争力があり、特に低容量ネットワークでいくつかのベースラインを上回ることが多く、エントロピー範囲訓練の恩恵を受ける。
• 重み付き自己情報の敵対的整列は構造的一致性を捉え、直接的なエントロピー最小化より追加の利得を生む。
• MinEnt と AdvEnt のアンサンブルを用いると、いくつかの設定で全体的な最良の性能を提供する。
• クラス比 priors の組み込みはクラスバイアスを緩和し、より難易度の高いターゲットドメインのレイアウトで mIoU を改善する。