[論文レビュー] MIC: Masked Image Consistency for Context-Enhanced Domain Adaptation

Lukas Hoyer, Dengxin Dai+2 more|arXiv (Cornell University)|Dec 2, 2022

Domain Adaptation and Few-Shot Learning被引用数 9

ひとこと要約

本稿では、教師なしドメイン適応（UDA）のためのプラグインモジュールであるマスクド画像一貫性（MIC）を提案する。この手法は、マスクされたターゲット画像の予測と、マスクされていない画像からの仮ラベルとの一貫性を強制することで、耐性を向上させる。コンテキストを活用してマスク領域を推定することで、セマンティックセグメンテーション、分類、検出の各タスクにおいて一貫した向上を達成し、GTA→Cityscapesで75.9 mIoU、VisDA-2017で92.8%の精度という最先端の性能を達成する。

ABSTRACT

In unsupervised domain adaptation (UDA), a model trained on source data (e.g. synthetic) is adapted to target data (e.g. real-world) without access to target annotation. Most previous UDA methods struggle with classes that have a similar visual appearance on the target domain as no ground truth is available to learn the slight appearance differences. To address this problem, we propose a Masked Image Consistency (MIC) module to enhance UDA by learning spatial context relations of the target domain as additional clues for robust visual recognition. MIC enforces the consistency between predictions of masked target images, where random patches are withheld, and pseudo-labels that are generated based on the complete image by an exponential moving average teacher. To minimize the consistency loss, the network has to learn to infer the predictions of the masked regions from their context. Due to its simple and universal concept, MIC can be integrated into various UDA methods across different visual recognition tasks such as image classification, semantic segmentation, and object detection. MIC significantly improves the state-of-the-art performance across the different recognition tasks for synthetic-to-real, day-to-nighttime, and clear-to-adverse-weather UDA. For instance, MIC achieves an unprecedented UDA performance of 75.9 mIoU and 92.8% on GTA-to-Cityscapes and VisDA-2017, respectively, which corresponds to an improvement of +2.1 and +3.0 percent points over the previous state of the art. The implementation is available at https://github.com/lhoyer/MIC.

研究の動機と目的

• ターゲットドメインにアノテーションが存在しない状況で、視覚的に類似したクラス（例：道路／歩道）が誤分類されるという教師なしドメイン適応（UDA）におけるクラスの混同問題に対処する。
• 先行するUDA手法が効果的に活用できていないように見える、ターゲットドメインにおける空間的コンテキスト関係を明示的に学習することで、視覚認識の耐性を向上させる。
• 分類、セグメンテーション、検出の複数の認識タスクに適用可能な、シンプルで汎用性の高いモジュールを構築する。
• 合成から実画像、晴れから悪天候、昼間から夜間へのドメインギャップを含む、多様なドメインギャップに対して一貫した性能向上を達成する。
• カーブや周囲の物体といったコンテキスト的手がかりを活用することで、局所的な外観が曖昧であっても、画像の意味を包括的に推論できるようにモデルを向上させる。

提案手法

• トレーニング中にターゲット画像のランダムなパッチをマスクするマスクド画像一貫性（MIC）モジュールを導入し、生徒ネットワークがコンテキスト情報を用いてマスク領域の意味を推定するように強制する。
• 指数的移動平均（EMA）を用いた教師モデルを用いて、完全にマスクされていないターゲット画像の仮ラベルを生成し、コンテキストに配慮した頑健な監督を提供する。
• 生徒のマスク画像に対する予測と、マスクされていない画像からの仮ラベルとの間で一貫性損失を最小化することで、生徒がコンテキスト依存性を学習するように促進する。
• 敵対的訓練、エントロピー最小化、自己学習に基づく既存のUDA手法に、MICをプラグインとして統合し、CNNやTransformerを含むさまざまなアーキテクチャに適用可能である。
• トレーニング中に異なる領域をランダムにマスクすることで、生徒ネットワークが多様なターゲットドメインの状態に一般化できるように訓練する。
• EMA教師を用いて仮ラベル生成を安定化させ、自己学習プロセス中の監督の信頼性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 マスクされたターゲット画像の予測と、マスクされていない画像からの仮ラベルとの間の一貫性を強制することで、ドメイン適応の性能が向上するか？
• RQ2 空間的コンテキスト関係を学習することで、ターゲットアノテーションが存在しない状況で、視覚的に類似したクラス（例：道路対歩道）の誤分類がどの程度減少するか？
• RQ3 MICは、異なるUDAフレームワーク、認識タスク、ドメインギャップにおいて、どの程度効果的にプラグインモジュールとして機能するか？
• RQ4 悪天候や低照度環境などの困難なターゲットドメイン条件において、MICは一般化性能を向上させるか？
• RQ5 MICの失敗モードは、コンテキスト依存性の仮定や分布外のオブジェクト配置とどのように関連しているか？

主な発見

• MICは、GTA→Cityscapesのセマンティックセグメンテーションベンチマークで75.9 mIoUという新たな最先端の性能を達成し、前回のSOTAから+2.1ポイントの向上を示した。
• VisDA-2017の画像分類ベンチマークでは、92.8%のトップ-1精度を達成し、前回のSOTAから+3.0ポイントの向上を示した。
• CS→DarkZurichベンチマークでは、+4.3ポイントの性能向上を達成し、悪天候への適応において強力な一般化能力を示した。
• Foggy Cityscapesにおける物体検出では、MIC(SADA)が、以前に見逃されていたバス、トラック、自転車乗り、オートバイのインスタンスを検出でき、低視界条件での耐性が向上した。
• 定性的な分析から、カーブや自転車といったコンテキスト的手がかりが存在する際、MICは、歩道やフェンス、部分的遮蔽された車両といった曖昧な領域を、先行手法よりもより完全かつ一貫してセグメンテーションしていることが確認された。
• 改善が見られたものの、MICはレアオブジェクトの出現、道路／歩道領域の融合、モーショントラブルに対して依然として困難を示しており、極端またはコンテキスト外のシナリオに対処する能力に限界があることが示唆された。