[論文レビュー] Batch Normalization Embeddings for Deep Domain Generalization

Mattia Segù, Alessio Tonioni+1 more|arXiv (Cornell University)|Nov 25, 2020

Domain Adaptation and Few-Shot Learning被引用数 10

ひとこと要約

本稿では、ドメイン固有のバッチ正規化統計を活用して既知のドメインを共有潜在空間にマッピングすることで、深層ドメイン一般化のためのバッチ正規化埋め込み（BNE）を提案する。テスト時、未知ドメインのサンプルは距離尺度を用いてこの空間に投影され、ドメイン所属の推定と、軽量なドメイン固有分類器アンサンブルからの重み付き予測が行われ、PACS、Office-31、Office-Caltechベンチマークで最先端の精度を達成する。

ABSTRACT

Domain generalization aims at training machine learning models to perform robustly across different and unseen domains. Several recent methods use multiple datasets to train models to extract domain-invariant features, hoping to generalize to unseen domains. Instead, first we explicitly train domain-dependant representations by using ad-hoc batch normalization layers to collect independent domain's statistics. Then, we propose to use these statistics to map domains in a shared latent space, where membership to a domain can be measured by means of a distance function. At test time, we project samples from an unknown domain into the same space and infer properties of their domain as a linear combination of the known ones. We apply the same mapping strategy at training and test time, learning both a latent representation and a powerful but lightweight ensemble model. We show a significant increase in classification accuracy over current state-of-the-art techniques on popular domain generalization benchmarks: PACS, Office-31 and Office-Caltech.

研究の動機と目的

• 教師付きテストデータが入手不可である状況下でも、未知ドメインに一般化できるモデルを実現することにより、深層学習におけるドメインシフトの課題に取り組む。
• ドメイン不変特徴を強制する従来のドメイン一般化手法の限界を克服し、有用なドメイン固有情報が失われるのを防ぐ。
• ドメイン固有表現を明示的にモデル化するとともに、ドメイン埋め込みの共有潜在空間を通じて未知ドメインへの一般化を可能にする手法を開発する。
• BNE空間における未知ドメインとの距離に応じて重み付けされたドメイン固有分類器の予測を統合することで、未知ドメインの分類を堅牢に実現する。

提案手法

• モデル学習中に各訓練ドメインごとにバッチ正規化（BN）統計を別々に蓄積し、ドメイン固有の正規化層を構築する。
• 各訓練ドメインのBN層の母集団統計を用いて、潜在ドメイン空間内に点として表現する — これがバッチ正規化埋め込み（BNE）である。
• テスト時、テストサンプルのインスタンス正規化統計を計算し、同じBN統計を用いて同じ潜在ドメイン空間にマッピングする。
• テストサンプルのインスタンス統計と各既知ドメインのBNEとの間の距離を、距離関数（例：ワルサーゲン距離）で測定する。
• これらの距離の逆数を重みとして用い、ドメイン固有分類器からの予測を線形結合することで、未知ドメインへの一般化性能を向上させる。
• 訓練時にも同様の距離重み付け戦略を適用し、意味のある潜在ドメイン空間と安定したBNEを学習するようモデルを促進する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン依存のバッチ正規化統計によって捉えられるドメイン固有表現を、未知ドメインへの一般化に活用できるか？
• RQ2 BN統計から導出されるドメイン埋め込みの潜在空間は、未知ドメインの性質を正確に推定するために有効か？
• RQ3 未知ドメインのBNEからの距離に基づいてドメイン固有分類器の予測を重み付けすることで、平均化や固定重み付けと比較して分類精度が向上するか？
• RQ4 本手法は、PACS、Office-31、Office-Caltechといった多様なベンチマークにおいて、ターゲットデータのラベルが不要な状況でも一般化可能か？
• RQ5 距離尺度の選択（例：ワルサーゲン、バタチャーリャ、一様）が、ドメイン局在化および分類性能に与える影響は何か？

主な発見

• 本手法はPACS、Office-31、Office-Caltechベンチマークで最先端の性能を達成し、ResNet-18を用いたDeepAllベースラインと比較して平均精度で+5.86%の向上を示した。
• ドメイン局在化にワルサーゲン距離を用いることで最良の性能が得られ、全ドメインでバタチャーリャ距離および一様距離ベースラインを上回った。
• アブレーションスタディの結果、ドメイン固有BN、訓練時における距離重み付け、ウォームアップ段階の各要素が性能向上に顕著に寄与していることが示された。
• 別個の分類ネットワークを用いてドメイン所属を学習するDNetの変種よりも性能が高く、パラメータ数も少ない。
• 本手法は全ドメインにわたり良好に一般化され、PACSにおける最も挑戦的とされる「Sketch」ドメインに対しても一貫した改善が見られた。
• 本手法はバッチ正規化を用いる任意のCNNと互換性があり、訓練ドメイン数の増加に伴い滑らかにスケーリング可能である。