[論文レビュー] Learning to Learn with Variational Information Bottleneck for Domain Generalization

Yingjun Du, Jun Xu+5 more|arXiv (Cornell University)|Jul 15, 2020

Domain Adaptation and Few-Shot Learning参考文献 56被引用数 11

ひとこと要約

本稿では、変分推論と情報ボトルネックを組み合わせたメタラーニングフレームワーク、MetaVIBを提案する。分類器の重みを確率的分布としてモデル化し、新しいメタ変分情報ボトルネックを用いることで、予測の不確実性とドメインシフトを低減し、3つのベンチマークで最先端の性能を達成した。

ABSTRACT

Domain generalization models learn to generalize to previously unseen domains, but suffer from prediction uncertainty and domain shift. In this paper, we address both problems. We introduce a probabilistic meta-learning model for domain generalization, in which classifier parameters shared across domains are modeled as distributions. This enables better handling of prediction uncertainty on unseen domains. To deal with domain shift, we learn domain-invariant representations by the proposed principle of meta variational information bottleneck, we call MetaVIB. MetaVIB is derived from novel variational bounds of mutual information, by leveraging the meta-learning setting of domain generalization. Through episodic training, MetaVIB learns to gradually narrow domain gaps to establish domain-invariant representations, while simultaneously maximizing prediction accuracy. We conduct experiments on three benchmarks for cross-domain visual recognition. Comprehensive ablation studies validate the benefits of MetaVIB for domain generalization. The comparison results demonstrate our method outperforms previous approaches consistently.

研究の動機と目的

• 未知のドメイン分布によるドメイン一般化における予測不確実性の解消。
• 多様なソースドメインにわたるドメイン不変表現を学習することでドメインシフトの低減。
• 確率的モデリングとメタラーニングを統合し、未観測ドメインへの一般化性能の向上。
• 相互情報量の変分バウンズから導出された新しい情報理論的正則化子、MetaVIBの開発。
• 先行手法と比較して、クロスドメイン視覚認識ベンチマークで優れた性能を達成すること。

提案手法

• 変分推論を用いて、ドメイン間の分類器パラメータを確率的分布としてモデル化し、不確実性を捉える。
• 相互情報量の変分バウンズから導出された、メタ変分情報ボトルネック原理であるMetaVIBを提案する。
• エピソードベースの学習によりモデルを最適化し、ドメインギャップを最小化するようにネットワークおよび分類器パラメータを同時に更新する。
• MetaVIBの目的関数を用いて、予測精度を最大化するとともに、入力と表現間の相互情報量を最小化する。
• メタラーニングを活用し、訓練中に未観測ドメインをシミュレートすることで、以前に観測されていなかったドメインへの一般化を可能にする。
• ファインチューニングを一切行わずに、学習済みの確率的モデルを直接テストドメインに適用し、不確実性を考慮した予測を活用する。

実験結果

リサーチクエスチョン

• RQ1 分類器パラメータの確率的モデリングは、ドメイン一般化における予測不確実性の改善に寄与するか？
• RQ2 メタ変分情報ボトルネックフレームワークは、多様なドメインにわたるドメインシフトを効果的に低減できるか？
• RQ3 メタラーニングと変分推論、情報ボトルネックを統合することで、従来の手法よりも優れた一般化性能が得られるか？
• RQ4 MetaVIBは、クロスドメイン視覚認識タスクにおいて、最先端の正則化およびメタラーニングアプローチと比較してどのように性能を発揮するか？
• RQ5 MetaVIBは、ドメインシフトの程度が異なる複数のベンチマークにおいて一貫して性能を向上させることができるか？

主な発見

• PACSでは74.54%の平均精度を達成し、前回の最先端手法を1.20ポイント上回った。
• VLCSでは72.28%の平均精度を達成し、2番目に良い手法（MASF）を0.43ポイント上回った。
• 回転MNISTでは97.08%の平均精度を達成し、次に良い手法（Liら[30]）を0.69ポイント上回った。
• MetaVIBは、PACS, VLCS, 回転MNISTの全ベンチマークで、MLDG, MetaReg, Reptileなどのメタラーニングベースラインを一貫して上回った。
• アブレーションスタディの結果、確率的分類器モデリングとMetaVIB正則化子の両方が性能向上に顕著な貢献をしていることが確認された。
• 本手法は高いロバスト性を示し、PACSの最も挑戦的なドメイン「Cartoon」に対しても高い性能を発揮した。