[論文レビュー] Learning to Generalize across Domains on Single Test Samples

Zehao Xiao, Xiantong Zhen+2 more|arXiv (Cornell University)|Feb 16, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本稿では、微調整や追加学習を必要とせず、1つのテストサンプルのみを用いて未学習のターゲットドメインに深層モデルを適応可能なメタラーニングフレームワークを提案する。テストサンプルごとに条件づけられた変分ベイジアン推論として適応を定式化することで、1回の順伝播でターゲットサンプルごとに適応可能な予測を生成し、ドメイン一般化ベンチマークで最先端の性能を達成する。

ABSTRACT

We strive to learn a model from a set of source domains that generalizes well to unseen target domains. The main challenge in such a domain generalization scenario is the unavailability of any target domain data during training, resulting in the learned model not being explicitly adapted to the unseen target domains. We propose learning to generalize across domains on single test samples. We leverage a meta-learning paradigm to learn our model to acquire the ability of adaptation with single samples at training time so as to further adapt itself to each single test sample at test time. We formulate the adaptation to the single test sample as a variational Bayesian inference problem, which incorporates the test sample as a conditional into the generation of model parameters. The adaptation to each test sample requires only one feed-forward computation at test time without any fine-tuning or self-supervised training on additional data from the unseen domains. Extensive ablation studies demonstrate that our model learns the ability to adapt models to each single sample by mimicking domain shifts during training. Further, our model achieves at least comparable -- and often better -- performance than state-of-the-art methods on multiple benchmarks for domain generalization.

研究の動機と目的

• トレーニング時にターゲットドメインデータが入手不可である状況におけるドメイン一般化を解決すること。
• 推論時に1つのテストサンプルごとに、未学習のターゲットドメインに効果的に適応できるモデルを実現すること。
• テスト時に微調整や補助ネットワークを必要とせず、ドメイン一般化の厳密なソース・ターゲットデータ分離を保つこと。
• 低データおよびマルチドメインターゲット環境下でのロバストネスと一般化性能の向上

提案手法

• 本手法は、トレーニング時にドメインシフトを模倣する形で、推論時に1つのテストサンプルに適応できるモデルをメタラーニングで学習する。
• 適応は、テストサンプルがモデルパラメータの生成を条件づける変分ベイジアン推論問題として定式化される。
• テスト時に微調整や追加のネットワークパラメータを一切使用せず、1回の順方向伝搬でドメイン適応済みの予測を生成する。
• メタラーナーはソースドメイン上で訓練され、任意の1つのターゲットサンプルに迅速に適応可能な重みの事前分布を学習する。
• 適応機構は、ソース特徴量と1つのターゲットサンプルの特徴量を組み合わせることで、新たな分類器プロトタイプを生成し、ターゲット分布との整合性を向上させる。
• トレーニング時や推論時にターゲットデータにアクセスする必要がなく、ターゲットデータの追加トレーニングも不要である。

実験結果

リサーチクエスチョン

• RQ1 トレーニング時にターゲットデータにアクセスできない状況でも、1つのテストサンプルのみを用いてモデルが未学習のターゲットドメインに適応できるか？
• RQ2 メタラーニングは、ドメイン一般化の文脈で、迅速かつ1サンプルでの適応を可能にするか？
• RQ3 変分ベイジアン推論は、個々のテストサンプルに条件づけたモデルパラメータの条件付けを、ロバストかつスケーラブルに実現できるか？
• RQ4 従来のテスト時適応手法と比較して、低データまたはマルチドメインターゲット環境下での本手法の性能は？
• RQ5 ドメイン識別子を事前に知らなくても、バッチレベルのターゲットデータを必要とせずに、多様なドメイン間で一般化できるか？

主な発見

• 提案手法は、PACS（ResNet-50を用いて71.07%）およびOffice-Home（ResNet-18を用いて66.02%）で、SOTAの平均正解率を達成した。
• PACSでは、ResNet-50を用いて87.51%の正解率を達成し、Wangら（2021）のSOTA手法（128個のターゲットサンプルを用いた微調整）を上回った。
• 小さなバッチまたは1サンプルのターゲットバッチにおいて、Tentなどの手法が著しく性能を落とす中、本手法は優れたロバストネスを示した。
• アブレーションスタディにより、メタラーニングが適応能力に不可欠であることが確認され、これを欠いた場合に性能が著しく低下した。
• ドメイン識別子を必要とせず、各サンプルを個別に処理する個別適応により、複数のターゲットドメインに効果的に一般化できた。
• 回転させたMNISTおよびFashion-MNISTでも強い性能を維持し、本手法の広範な適用可能性を示した。