[論文レビュー] Unsupervised domain adaptation via coarse-to-fine feature alignment method using contrastive learning

Shiyu Tang, Peijun Tang+3 more|arXiv (Cornell University)|Mar 23, 2021

Domain Adaptation and Few-Shot Learning参考文献 47被引用数 5

ひとこと要約

本論文は、セマンティックセグメンテーションのための非教師ありドメイン適応のための新規手法CFContraを提案する。この手法は、粗い段階から細かい段階への特徴マッピングを実現するための対照学習を用いる。対照損失とエントロピー最小化を併用し、効率的なメモリバンク戦略を採用することで、GTA5からCityscapesへの変換においてMinEntよりmIOUを3.5ポイント向上させ、訓練の安定性とメモリ効率を向上させ、最先端の性能を達成した。

ABSTRACT

Previous feature alignment methods in Unsupervised domain adaptation(UDA) mostly only align global features without considering the mismatch between class-wise features. In this work, we propose a new coarse-to-fine feature alignment method using contrastive learning called CFContra. It draws class-wise features closer than coarse feature alignment or class-wise feature alignment only, therefore improves the model's performance to a great extent. We build it upon one of the most effective methods of UDA called entropy minimization to further improve performance. In particular, to prevent excessive memory occupation when applying contrastive loss in semantic segmentation, we devise a new way to build and update the memory bank. In this way, we make the algorithm more efficient and viable with limited memory. Extensive experiments show the effectiveness of our method and model trained on the GTA5 to Cityscapes dataset has boost mIOU by 3.5 compared to the MinEnt algorithm. Our code will be publicly available.

研究の動機と目的

• 既存の非教師ありドメイン適応手法が、クラスごとの特徴不一致を考慮しないままグローバルな特徴分布のマッピングに限定されているという限界を解決すること。
• 対照学習を用いて、敵対的訓練を用いない堅牢なクラスごとの特徴マッピング手法の開発。
• 動的メモリバンク更新戦略を導入することで、セマンティックセグメンテーションにおける対照学習の訓練効率とメモリ使用量を改善すること。
• 対照損失とエントロピー最小化を組み合わせることで、決定境界を特徴クラスタから遠ざけることにより、モデルの汎化性能を向上させること。

提案手法

• 軽量なスタイル変換を実現するための適応的インスタンス正規化（AdaIN）を用いて、ソースドメインからターゲットドメインへの初期特徴マッピングを実現する。
• ソースドメイン内のクラス中心への近接度に基づいて、ターゲット特徴に疑似ラベルを割り当てる。これは、ドメイン間でクラスごとの特徴類似性が存在すると仮定している。
• 両ドメインの各クラスに対してメモリバンクを構築し、バッチ単位の平均特徴を用いて更新することで、計算コストとメモリ使用量を削減する。
• 温度パラメータを用いたInfoNCE損失を用いて対照損失を最適化し、ハードネガティブなサンプルのマイニングを後期の訓練段階に延期することで、安定性を向上させる。
• エンドツーエンドの訓練のため、ソースでのクロスエントロピー損失、ターゲットでのエントロピー損失、両ドメインでの対照損失を同時に最適化する。
• 代表的表現学習と分類を分離するための新規なヘッドモジュール（MOCO）を採用し、線形または単純な投影ヘッドよりも顕著に性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練を用いずに、対照学習が非教師ありセマンティックセグメンテーションにおいて、ソースドメインとターゲットドメインの間でクラスごとの特徴を効果的にマッピングできるか？
• RQ2 対照学習による粗い段階から細かい段階への特徴マッピングは、グローバルな特徴マッピングやエントロピー最小化単体と比較して、mIOUにどのように寄与するか？
• RQ3 メモリバンクの設計と更新戦略は、密度予測タスクにおける対照学習の訓練効率と性能にどのような影響を及ぼすか？
• RQ4 温度、モーメンタム、対照損失の重みといったハイパーパrameterの変更に、この手法はどれほど感受性を示すか？
• RQ5 特別なヘッドモジュールを用いて表現学習と分類を分離することで、ドメイン適応における汎化性能が向上するか？

主な発見

• 提案手法CFContraは、GTA5からCityscapesへのベンチマークで、MinEntベースラインよりmIOUを3.5ポイント向上させ、45.8 mIOUを達成した。
• アブレーションスタディの結果、対照損失とエントロピー最小化を組み合わせることで、クロスエントロピー損失とエントロピー損失の両方が低下し、特徴クラスタリングと決定境界の分離が改善されたことが示された。
• MOCOベースの対照学習を用いることで、疑似ラベルの正確性が15%向上した。これは、特徴中心への割り当てが改善されたことを示している。
• この手法はハイパーパrameterの変化に対して頑健である。温度（τ）と対照損失重み（λ_contra）は強い影響を示すが、モーメンタム（α）としきい値（t）は最小限の影響を示した。
• MOCOをヘッドモジュールとして使用した場合、mIOUが45.4に達し、線形および他の対照ヘッドを上回った。これは、表現の分離が有効であることを確認した。
• バッチ単位のクラス平均を用いたメモリバンクの更新戦略により、計算量とメモリ使用量を削減しながらも、性能を維持できた。