[論文レビュー] Dynamic Domain Generalization

Zhishu Sun, Z. Shen+5 more|arXiv (Cornell University)|May 27, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本稿では、推論時にメタアジャスターを介してネットワークパラメータを動的に調整することにより、アノニマスなターゲットドメインに深層ニューラルネットワークを適応可能にする、トレーニングフリーな新規フレームワークであるダイナミックドメイン一般化（DDG）を提案する。ドメインミックスを用いて多様なドメインをシミュレートし、非対称なカーネルテンプレートを用いて適応的パラメータを生成することで、DDGは、ターゲットデータに対する微調整なしにPACS、Office-Home、DomainNetベンチマークで最先端の性能を達成する。

ABSTRACT

Domain generalization (DG) is a fundamental yet very challenging research topic in machine learning. The existing arts mainly focus on learning domain-invariant features with limited source domains in a static model. Unfortunately, there is a lack of training-free mechanism to adjust the model when generalized to the agnostic target domains. To tackle this problem, we develop a brand-new DG variant, namely Dynamic Domain Generalization (DDG), in which the model learns to twist the network parameters to adapt the data from different domains. Specifically, we leverage a meta-adjuster to twist the network parameters based on the static model with respect to different data from different domains. In this way, the static model is optimized to learn domain-shared features, while the meta-adjuster is designed to learn domain-specific features. To enable this process, DomainMix is exploited to simulate data from diverse domains during teaching the meta-adjuster to adapt to the upcoming agnostic target domains. This learning mechanism urges the model to generalize to different agnostic target domains via adjusting the model without training. Extensive experiments demonstrate the effectiveness of our proposed method. Code is available at: https://github.com/MetaVisionLab/DDG

研究の動機と目的

• 微調整なしにアノニマスなターゲットドメインに適応できない静的ドメイン一般化モデルの限界を解消すること。
• 推論時にモデルパラメータの動的適応を可能にするトレーニングフリーのメカニズムを開発すること。
• 分離された静的・動的パラメータ構造を用いて、ドメイン共有特徴とドメイン固有特徴を分離すること。
• ドメインラベルや実際のターゲットデータに依存せずに、シミュレートされた新規ドメインを用いてメタアジャスターを効果的に訓練すること。

提案手法

• ネットワークパラメータを、標準的なトレーニングで学習される静的部品と、推論時にメタアジャスターによって変調される動的部品に分解する。
• 入力インスタンスの埋め込みを入力として用い、各インスタンスごとに動的係数を生成するメタアジャスターを設計する。
• 低次元の線形結合により動的パラメータを構成する非対称なカーネルテンプレートを用い、多様で適応的な変調を可能にする。
• ドメインミックスを用いて、ソースドメイン間の凸結合により、未学習の新規ドメインからのデータをシミュレートし、メタアジャスターのトレーニングに多様な信号を提供する。
• シミュレートドメイン上の損失を最小化するようにメタアジャスターを訓練することで、実際のアノニマスなターゲットドメインへの一般化を可能にし、微調整なしに実現する。
• t-SNE可視化とカーネルマグニチュード解析を用い、動的係数のドメインに敏感な挙動と強化されたカーネル構造を検証する。

実験結果

リサーチクエスチョン

• RQ1 トレーニングフリーのメカニズムは、微調整なしに未学習のターゲットドメインに深層モデルを動的に適応させることができるか？
• RQ2 明示的なドメインラベルなしに、メタアジャスターはドメイン固有のパラメータ調整を学習できるか？
• RQ3 シミュレートされた新規ドメインによるドメインミックスは、メタアジャスターが実際のアノニマスなターゲットドメインに一般化する能力をどの程度向上させるか？
• RQ4 非対称なカーネルテンプレートは、動的パラメータ生成の表現力と多様性をどのように向上させるか？
• RQ5 動的適応メカニズムは、静的ドメイン一般化と比較して、より優れたドメイン不変特徴学習を実現するか？

主な発見

• DDGは、ターゲットドメインへの微調整なしにPACS、Office-Home、DomainNetベンチマークで最先端の性能を達成し、既存のドメイン一般化手法を上回る。
• アブレーションスタディの結果、ドメインミックスを除去すると性能が著しく低下することが確認され、メタアジャスターのトレーニングに多様なドメインをシミュレートする役割が不可欠であることが裏付けられた。
• t-SNE可視化により、動的係数がドメイン分布に基づいて分離され、明示的なドメイン監視なしにドメインに敏感であることが確認された。
• カーネルマグニチュードの可視化から、非対称なカーネルテンプレートが畳み込みカーネルの中心的「スケルトン」を強化し、特徴学習能力を向上させていることが示された。
• 動的ネットワークは、静的ResNetベースラインと比較して、より強固で一般化可能な特徴を学習しており、ドメイン間で特徴のt-SNEクラスタリングが向上していることから裏付けられた。
• 推論時にパラメータのねじり（twisting）を介して適応を学ぶことで、実際のアノニマスなターゲットドメインへの一般化に成功し、トレーニングフリーのドメイン適応の可能性を示した。