[論文レビュー] Back to the Source: Diffusion-Driven Test-Time Adaptation

Jin Gao, Jialing Zhang+4 more|arXiv (Cornell University)|Jul 7, 2022

Domain Adaptation and Few-Shot Learning被引用数 14

ひとこと要約

本稿では、テスト時入力適応手法であるDiffusion-Driven Adaptation (DDA)を提案する。DDAは事前学習済みの拡散モデルを用いて、損傷を受けてしまったテスト画像を元のドメインに再投影することで、分類器の更新なしに頑健性を実現する。DDAは、多様な破損、モデル、データ環境においてImageNet-Cで最先端の頑健性を達成しており、特にモデル適応が小規模、順序付けられた、または混合されたデータバッチの状況で失敗する場合に顕著な優位性を示す。

ABSTRACT

Test-time adaptation harnesses test inputs to improve the accuracy of a model trained on source data when tested on shifted target data. Existing methods update the source model by (re-)training on each target domain. While effective, re-training is sensitive to the amount and order of the data and the hyperparameters for optimization. We instead update the target data, by projecting all test inputs toward the source domain with a generative diffusion model. Our diffusion-driven adaptation method, DDA, shares its models for classification and generation across all domains. Both models are trained on the source domain, then fixed during testing. We augment diffusion with image guidance and self-ensembling to automatically decide how much to adapt. Input adaptation by DDA is more robust than prior model adaptation approaches across a variety of corruptions, architectures, and data regimes on the ImageNet-C benchmark. With its input-wise updates, DDA succeeds where model adaptation degrades on too little data in small batches, dependent data in non-uniform order, or mixed data with multiple corruptions.

研究の動機と目的

• テスト時モデル適応の限界を解消する。特に、データ量、順序、破損の混合に敏感である点を改善する。
• ソースフリー適応における、各ターゲットドメインごとのモデル再訓練のスケーラビリティと計算コストの問題を克服する。
• 推論時にモデルではなく入力を適応させることで、分布シフト下でも頑健な一般化を実現する。
• 固定されたソースモデルを維持しながら、複数のターゲットドメインに適応可能な、モデルに依存しないスケーラブルな手法を開発する。
• 拡散モデリングと自己アンサンブルを用いた統合的で生成的な入力適応フレームワークにより、画像の破損に対する頑健性を向上させる。

提案手法

• ソースデータに限定して学習した拡散モデルを事前に学習し、テスト時の適応に際しては固定する。
• 反転拡散プロセスを繰り返し実行することで、各テスト入力をソースドメインに近づける。
• 分類器の自己アンサンブルを用いて、各入力に対して最適な適応度を動的に決定する。
• 推論時にモデルの更新なしに、ノイズ除去され適応された入力に対して元のソース分類器を適用する。
• 適応プロセスの安定化のため、前方ノイズ追加と逆方向のノイズ除去ステップを統合する。
• 逆方向サンプリング中に画像ガイドランスを活用し、意味的コンテンツを保持しながらドメインシフトを低減する。

実験結果

リサーチクエスチョン

• RQ1 困難なデータ環境下でも、拡散モデリングによる入力レベルの適応が、モデルレベルの適応を上回る可能性があるか？
• RQ2 モデル適応が通常劣化する小規模、順序付き、または混合破損の下で、DDAはImageNet-Cでどのように性能を発揮するか？
• RQ3 自己アンサンブルによるノイズ除去度の制御が、適応の頑健性をどの程度向上させるか？
• RQ4 再訓練なしに、1つのソースで学習した拡散モデルが複数のターゲットドメインに一般化可能か？
• RQ5 前方処理、逆方向処理、および精練ステップの各要素が、DDA全体の頑健性に果たす寄与度はどの程度か？

主な発見

• ブラー破損下で、Swin-Tバックボーンを用いた場合、DDAは41.2%のトップ-1精度を達成し、同じ設定でMEMO（38.9%）とTent（35.1%）を上回った。
• ショットノイズ破損下では、ConvNeXt-Tを用いた場合、DDAは57.3%の精度に達し、DiffPure（48.7%）とMEMO（53.2%）を顕著に上回った。
• 小規模バッチ（例：1〜4サンプル）下でも、DDAはTentがノイズの多い更新により性能を落とす状況においても高い頑健性を維持し、低データ環境下での安定性を示した。
• 順序付きまたは混合破損下でも、DDAはモデル適応が順次的または矛盾する分布シフトの影響で失敗する状況を効果的に処理できた。
• アブレーション解析の結果、前方、逆方向、および精練ステップを組み合わせた場合が最高の性能を示し、逆方向＋ガイドランスのみの設定では性能が劣った。
• DDAはモデルに依存せず、再チューニングなしにResNet-50、Swin-T、ConvNeXt-Tの全モデルで頑健性を向上させた。これにより、広範な適用可能性が確認された。