[論文レビュー] ACE: Adapting to Changing Environments for Semantic Segmentation

Zuxuan Wu, Xin Wang+3 more|arXiv (Cornell University)|Apr 12, 2019

Domain Adaptation and Few-Shot Learning参考文献 62被引用数 13

ひとこと要約

ACEは、ピクセル単位のスタイル変換によりラベル付き学習データを合成することで、変化する環境分布に適応するための生涯学習フレームワークであり、災害的忘却を防ぐために軽量な特徴統計メモリを用いる。Synthiaにおける順次的ドメインシフトにおいて優れた性能を発揮し、メタラーニングによりフルバッチ学習と同等の高速適応を実現する。

ABSTRACT

Deep neural networks exhibit exceptional accuracy when they are trained and tested on the same data distributions. However, neural classifiers are often extremely brittle when confronted with domain shift---changes in the input distribution that occur over time. We present ACE, a framework for semantic segmentation that dynamically adapts to changing environments over the time. By aligning the distribution of labeled training data from the original source domain with the distribution of incoming data in a shifted domain, ACE synthesizes labeled training data for environments as it sees them. This stylized data is then used to update a segmentation model so that it performs well in new environments. To avoid forgetting knowledge from past environments, we introduce a memory that stores feature statistics from previously seen domains. These statistics can be used to replay images in any of the previously observed domains, thus preventing catastrophic forgetting. In addition to standard batch training using stochastic gradient decent (SGD), we also experiment with fast adaptation methods based on adaptive meta-learning. Extensive experiments are conducted on two datasets from SYNTHIA, the results demonstrate the effectiveness of the proposed approach when adapting to a number of tasks.

研究の動機と目的

• 実世界の展開において、照明や天候の変化によって引き起こされるドメインシフトを、セマンティックセグメンテーションで解消すること。
• 新しい環境のラベルなしで、事前学習済みモデルを順次的かつ継続的にターゲットドメインに適応できること。
• 以前に学習したタスクの災害的忘却を、コンパクトな特徴統計メモリを用いて防止すること。
• ドメイン間で一般化可能なメタラーニング戦略を用いて、適応を高速化すること。
• 動的環境におけるリアルタイム適応を可能にする、軽量でエンドツーエンドでトレーニング可能なフレームワークの開発。

提案手法

• 条件付き画像生成器を用い、ソースドメインの画像統計（平均と分散）を、特徴レベルで未ラベルのターゲットドメインの画像統計に一致させる。
• 適応的統計を用いたインスタンス正規化を適用し、コンテンツを保持したままターゲットドメインのスタイルをソース画像に転送する。
• 以前に見たドメインからの1次および2次特徴統計を格納するメモリユニットを採用し、効率的なスタイルリプレイを実現する。
• 格納された統計を用いて歴史的なドメインスタイルを再構築・リプレイし、セグメンテーションモデルの微調整と忘却防止を実現する。
• 確率的勾配降下法（SGD）を用いて、セグメンテーションネットワークと生成ネットワークを同時に最適化することでエンドツーエンド最適化を実現する。
• Reptileを用いたメタラーニングアプローチであるACE-Metaを導入し、1ドメインあたり600ステップのSGDで、フルバッチ学習（10Kイテレーション）と同等の性能を達成するメタパラメータを学習可能にする。

実験結果

リサーチクエスチョン

• RQ1 変化する天候や照明条件の下で、未ラベルの新しい環境に効果的にセマンティックセグメンテーションモデルを適応させることは可能か？
• RQ2 新しいデータ分布から順次学習する際、災害的忘却をどのように軽減できるか？
• RQ3 ピクセルレベルの分布整合化によるスタイル変換は、特徴レベルの整合化と比較して、適応性能を向上させるか？
• RQ4 メタラーニングは、フルリトレーニングなしで、どの程度新しいドメインへの適応を高速化できるか？
• RQ5 特徴統計の軽量メモリは、多様な環境にわたる長期的な一般化をどの程度効果的に可能にするか？

主な発見

• ACEは、Synthiaデータセットにおける順次的適応タスクで最先端の性能を達成し、標準的なドメイン適応手法やリプレイベースのベースラインを上回る。
• メモリリプレイの追加により、継続的学習中に以前に学習したドメインの高精度を維持することができ、忘却が顕著に軽減された。
• メタラーニングを用いたACE-Metaは、10KイテレーションのフルバッチSGD学習と同等の性能を達成しているが、1タスクあたり600イテレーションで実現可能である。
• 「winter」と「winter night」のような困難なドメインでは、ACE-Metaが非メタベースラインを上回る明確な利点を示しており、多様な条件下での効果的な一般化を示している。
• ACEとADDa（特徴レベルの適応）を組み合わせることで、HighwayおよびNYC風シティドメインでそれぞれ0.7%および0.6%のさらなる向上が得られた。
• ACEで生成された画像は、MUNITと比較して構造的・意味的詳細をより多く保持しており、アーティファクトも少なく、ピクセルレベルのスタイル変換の有効性が裏付けられた。