[論文レビュー] MixStyle Neural Networks for Domain Generalization and Adaptation

Kaiyang Zhou, Yongxin Yang+2 more|arXiv (Cornell University)|Jul 5, 2021

Domain Adaptation and Few-Shot Learning参考文献 59被引用数 15

ひとこと要約

MixStyleは、訓練中にランダムなインスタンス同士の特徴統計（平均と標準偏差）を混合することで、ドメイン一般化を向上させるシンプルで、パラメータフリーのプラグアンドプレイモジュールを提案する。画像のスタイルと特徴統計の関係を活用することで、訓練目的の変更やモデル容量の増加なしに、新しいドメインを効率的に合成し、視覚タスク全体における分布外一般化を顕著に向上させる。

ABSTRACT

Neural networks do not generalize well to unseen data with domain shifts -- a longstanding problem in machine learning and AI. To overcome the problem, we propose MixStyle, a simple plug-and-play, parameter-free module that can improve domain generalization performance without the need to collect more data or increase model capacity. The design of MixStyle is simple: it mixes the feature statistics of two random instances in a single forward pass during training. The idea is grounded by the finding from recent style transfer research that feature statistics capture image style information, which essentially defines visual domains. Therefore, mixing feature statistics can be seen as an efficient way to synthesize new domains in the feature space, thus achieving data augmentation. MixStyle is easy to implement with a few lines of code, does not require modification to training objectives, and can fit a variety of learning paradigms including supervised domain generalization, semi-supervised domain generalization, and unsupervised domain adaptation. Our experiments show that MixStyle can significantly boost out-of-distribution generalization performance across a wide range of tasks including image recognition, instance retrieval and reinforcement learning.

研究の動機と目的

• ドメインシフト下でのニューラルネットワークの分布外一般化性能の低さという課題に取り組む。
• 追加データやモデル容量の増加を必要としないドメイン一般化を向上させるデータ拡張法を開発する。
• アーキテクチャに依存しない、即座に使えるモジュールを構築し、教師あり、半教師あり、教師なしドメイン一般化の設定に適用可能にする。
• 浅い畳み込みニューラルネットワーク層における視覚的ドメインシフトとインスタンスレベルの特徴統計の間の関係を確立する。

提案手法

• MixStyleは、1回の順伝播でランダムに選択された2つの訓練インスタンスの特徴マップの平均と標準偏差を混合する。
• 混合は、凸結合係数λをサンプリングするためにベータ分布を用いる。λは2つのインスタンスの統計量の補間を制御する。
• ネットワークアーキテクチャや学習目的を変更せずに、複数の浅い畳み込み層に適用することで、スタイルの変動を効果的に捉える。
• ラベル付きと偽ラベル付きインスタンスの統計量を混合することで、部分的にラベル付きデータを扱うための半教師あり拡張を導入する。
• ミニバッチ学習と互換性があり、実装には数行のコードで十分である。
• 統計的混合によるスタイルの多様性を模倣することで、ドメイン不変表現を暗黙的に学習する。

実験結果

リサーチクエスチョン

• RQ1 ランダムなインスタンス間の特徴統計の混合は、未観測ドメインへの一般化を向上させるか？
• RQ2 教師あり、半教師あり、教師なしドメイン一般化のさまざまな学習パラダイムにおいて、MixStyleはどのように性能を発揮するか？
• RQ3 ハイパーパramータ（例えばベータ分布のα）の選択に依存して性能が変化するか？
• RQ4 MixStyleは、未観測ドメインへの一般化を向上させる一方で、ソースドメインの性能を向上させることができるか？
• RQ5 幾何変換とは対照的に、色、テクスチャ、照明に関するドメインシフトに対して、MixStyleはどの程度効果的か？

主な発見

• MixStyleは、画像認識、人物再識別、強化学習のタスクにおいて、分布外一般化性能に顕著な向上をもたらす。
• PACSデータセットでは、α=0.1でテスト精度が82.8%にまで向上し、標準的なERMや他のドメイン一般化ベースラインを上回る。
• ソースドメインの性能は維持されたり、わずかに向上するため、既存のドメイン性能に悪影響を与えないことが確認された。
• アブレーションスタディの結果、同じクラス内での混合は無効であることが示され、ドメイン一般化のためにはクラス間のスタイル混合が不可欠であることが確認された。
• 性能はαの値にあまり依存せず、α=0.1が複数のタスクにわたって堅牢なデフォルト設定を提供する。
• MixStyleは優れた汎用性を示し、医療画像処理、3次元点群処理、音声認識を含む多様な応用分野で成功裏に適用されている。