[論文レビュー] Unsupervised Intra-domain Adaptation for Semantic Segmentation through Self-Supervision

Fei Pan, Inkyu Shin+3 more|arXiv (Cornell University)|Apr 16, 2020

Domain Adaptation and Few-Shot Learning参考文献 39被引用数 42

ひとこと要約

ソースとターゲット間のドメイン間ギャップを最初に縮小し、次にターゲット内のドメイン内ギャップを低減するため、エントロピーでターゲット画像をランク付けし、イージーからハードへの分割と擬似ラベルを用いる2段階の自己教師付きドメイン適応手法を提案する。

ABSTRACT

Convolutional neural network-based approaches have achieved remarkable progress in semantic segmentation. However, these approaches heavily rely on annotated data which are labor intensive. To cope with this limitation, automatically annotated data generated from graphic engines are used to train segmentation models. However, the models trained from synthetic data are difficult to transfer to real images. To tackle this issue, previous works have considered directly adapting models from the source data to the unlabeled target data (to reduce the inter-domain gap). Nonetheless, these techniques do not consider the large distribution gap among the target data itself (intra-domain gap). In this work, we propose a two-step self-supervised domain adaptation approach to minimize the inter-domain and intra-domain gap together. First, we conduct the inter-domain adaptation of the model; from this adaptation, we separate the target domain into an easy and hard split using an entropy-based ranking function. Finally, to decrease the intra-domain gap, we propose to employ a self-supervised adaptation technique from the easy to the hard split. Experimental results on numerous benchmark datasets highlight the effectiveness of our method against existing state-of-the-art approaches. The source code is available at https://github.com/feipan664/IntraDA.git.

研究の動機と目的

• セマンティックセグメンテーションのための合成ソースデータと実データターゲット間のドメインシフトに対処する。
• ターゲット画像をイージーとハードの分割に分けるエントロピーに基づくランキングを導入する。
• イージーとハードのターゲット分割間のギャップを埋める自己監視型なドメイン内適応を開発する。
• 合成データから実データへのベンチマークで、最先端のUDA手法より性能が向上することを示す。

提案手法

• 生成器と識別器の対向設定を用いて、セグメンテーション出力とそのエントロピー地図に基づき、ソースとターゲットの分布を整合させるドメイン間適応を実施する。
• ターゲットのエントロピーに基づくランカーR(Xt)をピクセルごとの平均エントロピーとして訓練し、ターゲット集合をイージー(Xt_e)とハード(Xt_h)のサブセットに分割する。比率λで制御される。
• イージー分割上のインタードメインモデルからの擬似ラベルを用いて、イージーなデータ上のドメイン内セグメンテーションモデル(G_intra)を監督する。
• イージーとハード分割間のエントロピー分布を整合させるドメイン内対向目的を適用し、2つの分割からのエントロピー地図を識別する識別器D_intraを活用する。
• インタードメインのセグメンテーション損失と対抗整合の損失を、ドメイン内のセグメンテーションと対抗整合の損失と組み合わせて総目的関数Lを形成し、3段階（インタードメイン訓練、ターゲットランキング、次にドメイン内訓練）で最適化する。
• 主要な式には、インタードメイン分割損失L_inter_seg、インタードメイン対向損失L_inter_adv、イージー分割の擬似ラベルを用いたドメイン内分割損失L_intra_seg、およびドメイン内対向損失L_intra_advが含まれる。

実験結果

リサーチクエスチョン

• RQ1 インタードメインと intra-domain の整合を組み合わせることで、インタードメイン整合のみより実世界ターゲットへの一般化性能が向上するか？
• RQ2 エントロピー基盤のランキングは、自己監視付きドメイン内適応を有利にするイージーとハードのサブセットにターゲットドメインを効果的に分割するか？
• RQ3 分割比λが最終的なセグメンテーション性能に与える影響はどれくらいか？
• RQ4 難しいターゲットインスタンスに対する擬似ラベルベースのドメイン内学習はどの程度性能を向上させるか？

主な発見

• 提案手法はGTA5からCityscapesで46.3% mIoUを達成し、AdvEntを2.5ポイント上回る。
• エントロピー正規化を用いると、GTA5からCityscapesで47.0% mIoUに達し、イージー/ハード分離の改善による利得を示している。
• SYNTHIAからCityscapesでは、16クラスで41.7% mIoU、13クラスで48.9% mIoUを達成し、いくつかのベースラインを上回っている。
• SynscapesからCityscapesでは54.2% mIoUを達成し、この設定でAdaptSegNetのベースラインを上回っている。
• アブレーション実験では、擬似ラベルとエントロピー基準のランキングを用いたドメイン内適応の組み合わせが、インタードメイン適応のみや単純自己学習よりも大きな改善をもたらすことを示している。
• 連携したインタードメインとドメイン内アプローチは、複数の合成-to- real ベンチマークで改善をもたらす。