[論文レビュー] Learning to Optimize Domain Specific Normalization for Domain Generalization

Seonguk Seo, Yumin Suh+4 more|arXiv (Cornell University)|Jul 9, 2019

Domain Adaptation and Few-Shot Learning参考文献 33被引用数 32

ひとこと要約

本稿では、ドメイン固有のアフィンパラメータと混合重みを学習することで、バッチ正規化とインスタンス正規化のタイプをドメインごとに最適化する、ドメイン特化型最適化正規化（DSON）を提案する。ドメインごとに正規化タイプを適応的に組み合わせることで、PACSやOffice-Homeなどの標準ベンチマークでSOTA性能を達成し、ラベルノイズ下でも高いロバスト性を示した。平均正規化精度はPACSで85.11%を達成した。

ABSTRACT

We propose a simple but effective multi-source domain generalization technique based on deep neural networks by incorporating optimized normalization layers that are specific to individual domains. Our approach employs multiple normalization methods while learning separate affine parameters per domain. For each domain, the activations are normalized by a weighted average of multiple normalization statistics. The normalization statistics are kept track of separately for each normalization type if necessary. Specifically, we employ batch and instance normalizations in our implementation to identify the best combination of these two normalization methods in each domain. The optimized normalization layers are effective to enhance the generalizability of the learned model. We demonstrate the state-of-the-art accuracy of our algorithm in the standard domain generalization benchmarks, as well as viability to further tasks such as multi-source domain adaptation and domain generalization in the presence of label noise.

研究の動機と目的

• トレーニング時にターゲットドメインのデータが利用できない状況下で、ドメイン不変表現を学習する課題に対処すること。
• ドメイン固有のスタイルを除去しながらも意味的情報を保持することで、未観測ドメインへのモデル一般化を向上させること。
• 学習可能な混合重みを用いてドメインごとに正規化タイプを動的に最適化する深層学習アーキテクチャを設計すること。
• 標準ベンチマークにおいて、既存の正規化手法およびドメイン一般化ベースラインを上回ること。
• ノイズのあるラベルやマルチソースドメイン適応設定下での有効性を検証すること。

提案手法

• 各ドメインに対して個別のバッチ統計とアフィンパラメータを維持するドメイン固有の正規化層を備えたマルチソースドメイン一般化フレームワークを採用する。
• 各ドメインにおいて、バッチ正規化（BN）とインスタンス正規化（IN）の統計値の重み付き平均を用いて活性化を正規化し、重みはトレーニング中に学習される。
• 混合重みはドメインごとに最適化され、各ドメインがその特性に応じてBNとINの最良なバランスを選択可能になる。
• 畳み込み層などの他のすべてのパラメータはドメイン間で共有されるため、パラメータ効率が良く、ドメイン不変特徴の学習が可能になる。
• 標準的なCNNバックボーン内にドメイン固有の正規化統計とアフィンパラメータを統合したDSONモジュールを実装する。
• クロスエントロピー損失を用いてエンドツーエンドで学習され、混合重みは微分可能であるため、勾配ベースの最適化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 ドメイン固有の正規化パラメータを学習することで、未観測ドメインへの一般化が向上するか？
• RQ2 学習可能な混合重みを用いてバッチ正規化とインスタンス正規化を組み合わせることで、ドメイン一般化性能にどのような影響を与えるか？
• RQ3 ドメイン固有の混合重み割り当ては、ドメインに依存しないまたは固定された正規化戦略を上回るか？
• RQ4 ラベルノイズ下やマルチソースドメイン適応設定下で、この手法はどのように性能を示すか？
• RQ5 実世界のベンチマークにおいて、ドメインごとにバッチ正規化とインスタンス正規化の最適なバランスは何か？

主な発見

• DSONはマルチソースドメイン一般化設定下でPACSデータセットにおいてSOTAの平均正規化精度85.11%を達成し、ドメインに依存しない混合重みを用いる手法よりも2.29ポイント高い精度を示した。
• PACSでは、ドメイン間転送設定において最大20.36ポイントの精度向上を達成した（例：アートペインティングからコマーシャルへの転移で48.74%から84.67%に向上）。
• マルチソース学習ではインスタンス正規化の重みがより高くなる傾向にあり、PACSでは3:7（IN:BN）、Office-Homeでは1:9の混合比を示しており、ドメイン不変性の実現にINに依存度が高いことが示された。
• ドメイン固有の混合重み割り当てはドメインに依存しない戦略を上回り、PACSでは平均正規化精度で2.29%の向上を達成した。
• DSONはラベルノイズ下でも強く性能を維持し、教師なしドメイン適応にも良好に一般化され、ロバスト性と汎用性を示した。
• 単一ソースドメインブランチを統合することで一貫した性能向上が得られ、DSON（全ドメイン）はPACSでアート（84.67%）、コマーシャル（77.65%）、スケッチ（82.23%）、フォト（95.87%）の各ドメインで高い精度を達成した。