[論文レビュー] Efficient Domain Generalization via Common-Specific Low-Rank Decomposition

Vihari Piratla, Praneeth Netrapalli+1 more|arXiv (Cornell University)|Mar 28, 2020

Domain Adaptation and Few-Shot Learning参考文献 21被引用数 57

ひとこと要約

CSDを導入する。ドメイン一般化のための最終層の共通-特異的低ランク分解で、直交性制約と専用の共通損失を備え、画像と音声のドメインにおいてメタ学習のベースラインより競争力のある精度とより速い学習を実現する。

ABSTRACT

Domain generalization refers to the task of training a model which generalizes to new domains that are not seen during training. We present CSD (Common Specific Decomposition), for this setting,which jointly learns a common component (which generalizes to new domains) and a domain specific component (which overfits on training domains). The domain specific components are discarded after training and only the common component is retained. The algorithm is extremely simple and involves only modifying the final linear classification layer of any given neural network architecture. We present a principled analysis to understand existing approaches, provide identifiability results of CSD,and study effect of low-rank on domain generalization. We show that CSD either matches or beats state of the art approaches for domain generalization based on domain erasure, domain perturbed data augmentation, and meta-learning. Further diagnostics on rotated MNIST, where domains are interpretable, confirm the hypothesis that CSD successfully disentangles common and domain specific components and hence leads to better domain generalization.

研究の動機と目的

• 複数ドメイン設定におけるドメイン一般化（DG）の動機づけと分析を行い、訓練ドメインへの過学習を防ぐ。
• ドメイン一般的な共通成分をドメイン特異的な低ランク成分から分離する、原理的な分解ベースのDG手法（CSD）を提案する。
• 共有成分の同定性を確立し、低ランクの選択がドメイン一般化にどう影響するかを検討する。
• CSDが、勾配ベースのメタ学習や他のDG手法よりも速く、かつしばしば高精度であることを、多様なデータセットで示す。
• 最終層に分解を制約し、共通損失と直交性制約を導入して、ニューラルネットワークへアプローチを拡張する。

提案手法

• 最終線形分類層を、共通成分と低ランクのドメイン特異的部分に分解し、それらの間に直交性制約を課す。
• ドメイン特異的ソフトマックスパラメータ w_i を w_c + W_s γ_i として訓練し、共有特徴量の学習を促進するために w_i と w_c の両方にロスを課す。
• w_c ⟂ span(W_s) を促進し、パラメータノルムを制御するために正規直交化正則化子を用いる。
• 共通ロス項と専門ロス項を含む、直交性正則化子を加え、 θ（特徴抽出器）、w_c、W_s、γ_i を共同更新するアルゴリズム（CSD）を提供する。
• 同定性の結果を導出する：w_c は、ドメイン特異的成分へ正規直交に射影された e_c に対応し、共有分類器が明確に定義されることを保証する。
• 低ランク分解における階数 k の役割を、Eckart–Young–Mirsky に類似した原理的アプローチで分解を計算し、バイアスとノイズのトレードオフを議論する。

実験結果

リサーチクエスチョン

• RQ1 共通-特異的分解フレームワーク内で、共有ドメイン一般分類器 w_c を一意に識別できるか？
• RQ2 ドメイン特異的成分の階数 k がドメイン一般化の性能とノイズ抑制にどう影響するか？
• RQ3 直交性と共通の損失を用いて最終層に分解を制限することは、メタ学習やデータ拡張を用いるDG法と比べて競合的または優れたドメイン一般化を達成するか？
• RQ4 CSDは多くの訓練ドメインに渡って、勾配ベースのDG法と比較してスケーラブルで速く、精度を維持または向上させるか？
• RQ5 画像および音声タスクの実験は、CSD が共通成分とドメイン特異的成分を分離して、アウトオブドメイン一般化を向上させるという仮説を支持するか？

主な発見

• CSDは、複数のデータセットを横断して、ドメイン消去、データ拡張、メタ学習に基づく最新のDG法と同等またはそれを上回る。
• CSDは、代表的なメタ学習DG法に対して桁違いの速度向上を提供し、多くのドメインが利用可能な場合にはより高い精度を提供する。
• 回転MNISTや他の解釈可能なドメインで、CSDは共有成分とドメイン特異的成分の明確な分離を示す。
• アブレーション研究は、直交性、共通損失、ドメイン特異的損失の組み合わせが、ベースラインERMを超える利得にとって重要であることを示す。
• 最適な階数 k はドメイン数とデータ特性に依存し、中程度のドメイン数には k=1 が有利となることが多く、非常に大規模なドメイン集合では高い k が有利になる。交差検証は頑健な性能を提供する。
• 画像と音声タスクを横断して、ERMと比較して訓練時間の負荷は控えめで、アウトオブドメイン精度を一貫して向上させる。