[論文レビュー] ADRMX: Additive Disentanglement of Domain Features with Remix Loss

Berker Demirel, Erchan Aptoula+1 more|arXiv (Cornell University)|Aug 12, 2023

Respiratory viral infections researchMedicine被引用数 3

ひとこと要約

ADRMXは、加法的分解を用いてドメイン不変およびドメイン可変特徴を分離することで、異なるドメインからの特徴を混合する新しい潜在空間におけるデータ拡張手法「remix loss」を導入するドメイン一般化フレームワークを提案する。本手法は、7つのデータセットをカバーするDomainBedベンチマークにおいて67.6%の平均精度を達成し、最先端の性能を示した。

ABSTRACT

The common assumption that train and test sets follow similar distributions is often violated in deployment settings. Given multiple source domains, domain generalization aims to create robust models capable of generalizing to new unseen domains. To this end, most of existing studies focus on extracting domain invariant features across the available source domains in order to mitigate the effects of inter-domain distributional changes. However, this approach may limit the model's generalization capacity by relying solely on finding common features among the source domains. It overlooks the potential presence of domain-specific characteristics that could be prevalent in a subset of domains, potentially containing valuable information. In this work, a novel architecture named Additive Disentanglement of Domain Features with Remix Loss (ADRMX) is presented, which addresses this limitation by incorporating domain variant features together with the domain invariant ones using an original additive disentanglement strategy. Moreover, a new data augmentation technique is introduced to further support the generalization capacity of ADRMX, where samples from different domains are mixed within the latent space. Through extensive experiments conducted on DomainBed under fair conditions, ADRMX is shown to achieve state-of-the-art performance. Code will be made available at GitHub after the revision process.

研究の動機と目的

• ドメインシフトの問題を解決し、ドメイン不変特徴学習を越えたモデルの一般化能力を向上させること。
• 従来のドメイン一般化手法がドメイン固有の特徴をノイズとして無視するという制限を克服すること。
• ドメイン可変特徴を補完的情報として活用し、一般化能力を強化すること。
• 潜在空間で加法的特徴混合を用いる新しいデータ拡張技術「remix loss」を導入すること。
• ADRMXの有効性を、DomainBedベンチマークにおける広範な実験を通じて検証すること。

提案手法

• ADRMXは、入力画像からラベル関連特徴とドメイン固有特徴を分離して抽出するための2つの別々のバックボーンを用いる。
• 潜在空間におけるドメイン不変およびドメイン可変成分を分離するために、加法的分離戦略を適用する。
• 敵対的訓練を用いて、分離された特徴がドメイン間で区別不能であることを保証するとともに、ラベル情報を保持する。
• 新しいデータ拡張技術「remix loss」は、同じクラスに属する別のサンプルからのドメイン不変特徴と、あるサンプルからのドメイン特徴を単純な加算によって組み合わせる。
• オリジナルのサンプルとremixedサンプルの両方に対して同じ分類ヘッドを用いることで、追加パラメータなしに正則化を実現する。
• 対照的損失を用いて、ドメイン間で特徴表現が凝縮され、かつ頑健になるように促進する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン不変特徴に加えてドメイン可変特徴を組み込むことで、ドメイン一般化タスクにおけるモデルの一般化能力が向上するか？
• RQ2 加法的分離戦略は、従来の分離法やアライメント手法に比べて、より優れた特徴学習を可能にするか？
• RQ3 特徴のリミックスによる潜在空間におけるデータ拡張は、ドメインシフトに対するロバストネスを向上させるか？
• RQ4 既存の拡張手法と比較して、提案手法のremix lossは性能および一般化能力において優れているか？
• RQ5 対照的損失とドメイン可変特徴予測は、モデル性能にどの程度寄与しているか？

主な発見

• ADRMXは、DomainBedベンチマークの7つのデータセットにおいて、平均精度67.6%という最先端の性能を達成した。
• DomainNetデータセットでは、remix lossを用いない状態でも、15の評価対象手法の中で最も強力なベースラインであるCORALを上回った。
• remix lossの導入により、DomainNetで0.7%の性能向上が確認され、データ拡張としての有効性が裏付けられた。
• 対照的損失の使用により1.21%の性能向上が得られ、凝縮され一般化可能な特徴表現を学習する役割を果たしていることが示された。
• 除去実験の結果、すべてのドメインで一貫してドメイン可変特徴を活用することで、DomainNetで1.86%の性能向上が達成された。
• UMAP可視化により、モデルがマルチモーダルなデータ構造を捉えていることが確認され、サブクラスタが異なるドメイン固有のパターンの表現を示している。