[論文レビュー] Diverse Weight Averaging for Out-of-Distribution Generalization

Alexandre Ramé, Matthieu Kirchmeyer+4 more|arXiv (Cornell University)|May 19, 2022

Domain Adaptation and Few-Shot Learning被引用数 9

ひとこと要約

本稿では、共通の初期化を共有する複数の独立した訓練済みモデルの重みを平均化することで、分布外（OOD）一般化を向上させる、新しい重み平均化手法であるDiverse Weight Averaging（DiWA）を提案する。DiWAは機能的多様性を向上させ、推論コストなしにDomainBedベンチマークで最先端の性能を達成する。特に、分布シフト（共変量シフト）下でも顕著な効果を示す。これは、バイアス・分散・共分散・局所性誤差分解という新しい分解により検証された。

ABSTRACT

Standard neural networks struggle to generalize under distribution shifts in computer vision. Fortunately, combining multiple networks can consistently improve out-of-distribution generalization. In particular, weight averaging (WA) strategies were shown to perform best on the competitive DomainBed benchmark; they directly average the weights of multiple networks despite their nonlinearities. In this paper, we propose Diverse Weight Averaging (DiWA), a new WA strategy whose main motivation is to increase the functional diversity across averaged models. To this end, DiWA averages weights obtained from several independent training runs: indeed, models obtained from different runs are more diverse than those collected along a single run thanks to differences in hyperparameters and training procedures. We motivate the need for diversity by a new bias-variance-covariance-locality decomposition of the expected error, exploiting similarities between WA and standard functional ensembling. Moreover, this decomposition highlights that WA succeeds when the variance term dominates, which we show occurs when the marginal distribution changes at test time. Experimentally, DiWA consistently improves the state of the art on DomainBed without inference overhead.

研究の動機と目的

• 分布シフト、特に共変量シフト下における視覚モデルの分布外一般化を向上させること。
• 既存の重み平均化（WA）手法がモデルの多様性を明示的に促進しないという限界を解決すること。
• バイアス・分散・共分散・局所性分解を用いて、WAがOOD一般化で成功する理論的基盤を提供すること。
• 重み平均化されたモデルの多様性が高まることでOOD性能が向上することを実証的に検証すること。
• DiWAを、既存のドメイン一般化手法と比較して、推論効率の高い強力な代替手法として確立すること。

提案手法

• DiWAは、同じシードから初期化された複数の独立した訓練実行から得たモデル重みを平均化することで、機能的多様性を高める。
• 本手法は、重み空間における線形モード接続性を活用しており、これは共通の事前学習初期化から出発するモデルにおいて実証的に確認されている。
• 期待誤差をバイアス、分散、共分散、局所性の項に分解する理論的枠組みを用いて、本手法の正当性を裏付ける。
• マージナル分布シフト（多様性シフト）下では分散項が増加し、DiWAはモデルの多様性を高めることでこの項を強化する。
• 再訓練やアーキテクチャ変更を避けて、訓練後における重み平均化に依存する。
• DiWAは、DomainBedベンチマークで複数のドメインにわたって訓練されたモデルに適用され、推論コストは一切発生しない。

実験結果

リサーチクエスチョン

• RQ1 なぜ重み平均化が分布外一般化を向上させるのか？そしてどのような分布シフト下で最も効果的なのか？
• RQ2 モデルの多様性は、OOD設定における重み平均化モデルの性能にどのように影響するか？
• RQ3 バイアス、分散、共分散、局所性の項に誤差を分解することで、WAの成功を説明できるか？
• RQ4 共通の初期化を共有する独立した訓練実行からのモデルを平均化することは、単一の訓練軌道に沿った平均化よりも、OOD一般化を向上させるか？
• RQ5 さまざまな種類の分布シフト下で、DiWAはIRF や Fishr などの最先端ドメイン一般化手法と比較してどのように評価されるか？

主な発見

• DiWAは、推論コストなしに、DomainBedベンチマークのすべての実世界データセットで最先端の性能を達成する。
• ColoredMNISTデータセットでは、DiWA-uniformとDiWA-restrictedがERMおよびMAを上回り、特にDiWA-restrictedは、テストドメインモデル選択下で55.7％の精度を達成した。
• 相関シフト（例：誤った相関を持つColoredMNIST）下ではWAは性能向上を示さないため、DiWAが主に多様性シフト下で有効であることが確認された。
• DiWAは、すべてのDomainBedデータセットで一貫してOOD一般化を向上させ、特に多様な訓練実行から選択されたモデルを用いる場合に顕著な効果を示した。
• 最後の層をターゲットドメインデータで微調整した場合（例：Office-Home）、DiWAベースの特徴抽出器はERMベースのものよりも優れており、80％のターゲットデータを使用した場合に78.1％の精度を達成した。
• 理論的分解により、WAが分散項が支配的になる状況で成功することが示された。これはマージナル分布シフト（多様性シフト）下で発生するため、DiWAのコア設計が正当化された。