[論文レビュー] Unsupervised Scene Adaptation with Memory Regularization in vivo

Zhedong Zheng, Yi Yang|arXiv (Cornell University)|Dec 24, 2019

Domain Adaptation and Few-Shot Learning参考文献 32被引用数 9

ひとこと要約

本稿では、自己の内部予測をメモリとして活用することで、ターゲットドメインにおける予測の一貫性を低下させる、非教師付きシーン適応のためのシンプルで効果的な手法、in vivoメモリ正則化を提案する。追加パラメータを用いずに、主分類器と補助分類器の予測差を最小化することで、GTA5→Cityscapes で +11.1%、SYNTHIA→Cityscapes で +11.3% のmIoU向上を達成し、クロスシティ適応においても同様の向上を示す。

ABSTRACT

We consider the unsupervised scene adaptation problem of learning from both labeled source data and unlabeled target data. Existing methods focus on minoring the inter-domain gap between the source and target domains. However, the intra-domain knowledge and inherent uncertainty learned by the network are under-explored. In this paper, we propose an orthogonal method, called memory regularization in vivo to exploit the intra-domain knowledge and regularize the model training. Specifically, we refer to the segmentation model itself as the memory module, and minor the discrepancy of the two classifiers, i.e., the primary classifier and the auxiliary classifier, to reduce the prediction inconsistency. Without extra parameters, the proposed method is complementary to the most existing domain adaptation methods and could generally improve the performance of existing methods. Albeit simple, we verify the effectiveness of memory regularization on two synthetic-to-real benchmarks: GTA5 -> Cityscapes and SYNTHIA -> Cityscapes, yielding +11.1% and +11.3% mIoU improvement over the baseline model, respectively. Besides, a similar +12.0% mIoU improvement is observed on the cross-city benchmark: Cityscapes -> Oxford RobotCar.

研究の動機と目的

• セマンティックセグメンテーションにおける非教師付きドメイン適応において、未だ十分に検討されていないドメイン内知識と予測不確実性を扱うため。
• 同じドメイン内での一貫性を向上させることで、ラベルなしターゲットドメインにおけるモデルのロバスト性と性能を向上させるため。
• 既存のドメイン間アライメント技術を補完する、パラメータフリーの正則化手法を開発するため。
• 合成対実世界やクロスシティシナリオを含む、多様なドメイン間でより良い一般化を実現するため。

提案手法

• 本手法は、モデル自身の主分類器と補助分類器を、同じ入力の予測を保存・比較する内部メモリモジュールとして用いる。
• 同じ入力サンプルにおける2つの分類器の予測差を最小化するためのメモリ正則化損失 $ L_{mr} $ を導入する。
• 予測の不一致を抑えるために、事前学習段階（ステージI）と自己学習段階（ステージII）の両方で正則化を適用し、ラベルなしターゲットデータにおける学習を安定化させる。
• 既存のドメイン適応フレームワークと互換性があり、追加のパラメータや外部メモリモジュールを必要としない。
• 敵対的損失、セグメンテーション損失、および提案されたメモリ正則化損失の組み合わせにより、エンドツーエンドで訓練する。
• ハイパーパラメータ $ \lambda_{mr} $ が正則化の強度を制御し、$ \lambda_{mr} = 0.1 $ が実験全体で安定した性能を示した。

実験結果

リサーチクエスチョン

• RQ1 ドメイン内予測の一貫性を活用することで、セマンティックセグメンテーションにおける非教師付きドメイン適応の性能を向上させられるか？
• RQ2 モデル自身の内部予測をメモリメカニズムとして用いることで、ラベルなしターゲットデータの不確実性が低減するか？
• RQ3 パラメータフリーの正則化手法は、バックボーンの変更や外部モジュールの追加なしに性能向上を実現できるか？
• RQ4 提案手法は、合成対実世界およびクロスシティシナリオを含む多様な適応ベンチマークでどの程度有効か？

主な発見

• GTA5→Cityscapesベンチマークにおいて、ベースライン比で+11.1%のmIoU向上を達成した。
• SYNTHIA→Cityscapesベンチマークでは+11.3%のmIoU向上を達成し、優れた一般化性能を示した。
• クロスシティベンチマークであるCityscapes→Oxford RobotCarでは+12.0%のmIoU向上を達成し、ドメインシフトに対して高いロバスト性を示した。
• ハイパーパラメータ $ \lambda_{mr} $ に対してロバストであり、最適性能は $ \lambda_{mr} = 0.1 $ で得られた。
• メモリ正則化はステージIIの自己学習段階で顕著に性能を向上させ、偽ラベルのみで訓練されたモデルを上回った。
• アブレーションスタディにより、メモリ正則化単体でもステージIでmIoUが37.23%から45.46%に向上したことが確認され、その本質的価値が裏付けられた。