[論文レビュー] Learning to Generalize: Meta-Learning for Domain Generalization

Da Li, Yongxin Yang+2 more|arXiv (Cornell University)|Oct 10, 2017

Domain Adaptation and Few-Shot Learning参考文献 26被引用数 113

ひとこと要約

本論文は、MLDG（モデル非依存のメタ学習手法）を提案し、各ミニバッチ内で train-test ドメインのシフトを模擬することで、未見のドメインへ一般化するモデルを訓練します。これは監督学習と強化学習の両方に適用可能です。

ABSTRACT

Domain shift refers to the well known problem that a model trained in one source domain performs poorly when applied to a target domain with different statistics. {Domain Generalization} (DG) techniques attempt to alleviate this issue by producing models which by design generalize well to novel testing domains. We propose a novel {meta-learning} method for domain generalization. Rather than designing a specific model that is robust to domain shift as in most previous DG work, we propose a model agnostic training procedure for DG. Our algorithm simulates train/test domain shift during training by synthesizing virtual testing domains within each mini-batch. The meta-optimization objective requires that steps to improve training domain performance should also improve testing domain performance. This meta-learning procedure trains models with good generalization ability to novel domains. We evaluate our method and achieve state of the art results on a recent cross-domain image classification benchmark, as well demonstrating its potential on two classic reinforcement learning tasks.

研究の動機と目的

• テスト時にターゲットデータに依存しない、ドメイン適応より難しい代替としてのドメイン一般化（DG）を動機づける。
• 未見のドメイン間の一般化を改善するための、モデル非依存のメタ学習手法（MLDG）を導入する。
• 任意のベース学習器に適用可能で、監督学習と強化学習の双方に適用できる、勾配ベースの最適化フレームワークを提供する。
• クロスドメインの画像認識ベンチマークで最先端の成果を示し、古典的な強化学習タスクでも有望な結果を示す。

提案手法

• 各ミニバッチ内でソースドメインを meta-train と meta-test のグループに分割して、ドメインシフトを模擬する。
• F の勾配ステップ後に得られる更新パラメータ Theta' を用いて、meta-train ドメインでの meta-train 損失 F と meta-test ドメインでの meta-test 損失 G を計算する。
• Theta を最小化するように F + beta * G を最適化する。ここで G は Theta - alpha * grad_theta F で評価され、訓練ドメインでの改善が testing domains の改善と一致することを強制する。
• 環境が異なるドメインシフトに対応する強化学習にも同じメタ学習フレームワークを適用し、ポリシー勾配法（REINFORCE）や Q 学習をベース学習器として使用する。
• Taylor 展開による理論的直観を提供し、勾配 F' と G' の整合性を、協調的な改善を導く推進因子として示す。
• 任意で、勾配方向の整合性を強調する variante（MLDG-GC）、勾配ノルム（MLDG-GN）を含めることができる。

実験結果

リサーチクエスチョン

• RQ1 テスト時にターゲットドメインデータへアクセスせずに、モデル非依存のメタ学習手法はドメイン一般化を改善できるか？
• RQ2 ミニバッチ内で train-test ドメインシフトを模擬すると、訓練データと未見のドメイン間で整合する勾配が得られ、ドメイン外の性能が向上するか？
• RQ3 このアプローチは監督学習と強化学習の両方の設定で有効か？
• RQ4 クロスドメインベンチマークにおける、MLDG はソースドメインの集約や他の DG 手法とどう比較されるか？
• RQ5 実世界のドメインシフトシナリオに MLDG を適用する際の実用的な影響と制限は何か？

主な発見

• MLDG はクロスドメイン画像認識ベンチマーク（PACS）で、いくつかのベースラインと比較して最先端の結果を達成した。
• MLDG を強化学習タスク（Cart-Pole and Mountain Car）に適用すると、様々な環境でのドメイン一般化が向上した。
• CNN内部のエンドツーエンドの MLDG は、最終層のみに適用するより大きな利得を提供し、メタ最適化の重要性を示している。
• 勾配の整合性を強制する variante（MLDG-GC）や勾配ノルム（MLDG-GN）は、タスクに応じて混合の効果を示し、通常はベースの MLDG が最もよく機能する。
• 本手法はモデル非依存でスケーラブルであり、多くのモデルベースの DG 手法とは異なり、ドメイン数に結びつく追加パラメータを必要としない。