[論文レビュー] Learning to Balance: Bayesian Meta-Learning for Imbalanced and Out-of-distribution Tasks

Haebeom Lee, Hayeon Lee+5 more|arXiv (Cornell University)|May 30, 2019

Domain Adaptation and Few-Shot Learning参考文献 22被引用数 56

ひとこと要約

本研究は、タスクとクラスの不均衡およびOOD（out-of-distribution）シナリオ下で、メタ知識とタスク/クラス固有の学習を適応的にバランスさせるベイズ的タスク適応メタ学習（Bayesian TAML）を提案し、変分推定を用いる。現実的な不均衡 Few-shot ベンチマークにおいて、既存のメタ学習手法を上回る。

ABSTRACT

While tasks could come with varying the number of instances and classes in realistic settings, the existing meta-learning approaches for few-shot classification assume that the number of instances per task and class is fixed. Due to such restriction, they learn to equally utilize the meta-knowledge across all the tasks, even when the number of instances per task and class largely varies. Moreover, they do not consider distributional difference in unseen tasks, on which the meta-knowledge may have less usefulness depending on the task relatedness. To overcome these limitations, we propose a novel meta-learning model that adaptively balances the effect of the meta-learning and task-specific learning within each task. Through the learning of the balancing variables, we can decide whether to obtain a solution by relying on the meta-knowledge or task-specific learning. We formulate this objective into a Bayesian inference framework and tackle it using variational inference. We validate our Bayesian Task-Adaptive Meta-Learning (Bayesian TAML) on multiple realistic task- and class-imbalanced datasets, on which it significantly outperforms existing meta-learning approaches. Further ablation study confirms the effectiveness of each balancing component and the Bayesian learning framework.

研究の動機と目的

• 現実的なタスク分布で、タスクごとのショット数が異なる状況のメタ学習に動機づけを与える。
• 各タスクとクラスごとに、メタ知識とタスク固有の学習を適応的にバランスさせる枠組みを開発する。
• 統一的なベイズ的メタ学習モデル内で、クラス不均衡、タスク不均衡、および分布外タスクを扱う。
• 学習ダイナミクスと初期パラメータの制御を調整する三つのバランシング変数を提案する。
• 不均衡な few-shot ベンチマークでアプローチを検証し、構成要素の寄与を分析する。

提案手法

• 内勾配更新を調整するタスク依存のバランシング変数を導入する：クラスごとの学習率ウェイト、層ごとの学習率モジュレーター、タスク依存の初期パラメータ変調。
• KL正則化を伴うバリエーション下界を持つ、バランライズ済み後方分布を捕捉するアマルティゼーションされたバリエーション推定を用いたベイズ的メタ学習目的を定式化する。
• クラスごとのサンプルからタスク表現をエンコードする階層的セットエンコーダー StatisticsPooling を用い、バランシング変数の入力を生成する。
• バランシング変数を MAML 風の inner-loop 更新へ組み込む更新則を導出する。
• メタテスト時にMCサンプリングを行い予測分布を近似し、バランシング変数の不確実性を捉える。

実験結果

リサーチクエスチョン

• RQ1 現実的な不均衡と分布シフトの下で、タスクおよびクラス適応型のバランシング機構はFew-shot学習を改善できるか？
• RQ2 タスク依存の初期化、クラスごとの勾配スケーリング、層ごとの学習率調整は、不均衡およびOODタスクでの性能にどのように寄与するか？
• RQ3 balancing変数に対するアマルティゼーションされた変分推論は、多様なタスク分布にわたってロバストなタスク固有の予測子を生み出すか？
• RQ4 階層的セットエンコーダーは、バランシング変数生成のタスク統計を捉えるのに有効か？
• RQ5 提案されたバランシング要素は、不均衡およびOODベンチマークで強力なメタ学習ベースラインに対して有意な利得をもたらすか？

主な発見

• Bayesian TAMLは、不均衡およびOODの few-shot 分類ベンチマークにおいて、強力なメタ学習ベースラインを大きく上回る。
• 3つのバランシング変数は、タスク不均衡（gamma）、クラス不均衡（omega）、分布シフト（z）を適応的に調整することで、メタ学習とタスク固有学習のバランスを効果的に取らせる。
• ベイズモデリングと balancing変数のMCサンプリングは、特にOODタスクで著しい利益を生む。
• 階層的セット統計量（平均、分散、基数）に基づくタスクエンコーダは、バランシング変数推定を効果的に支援する。
• アブレーション研究は、各バランシング要素が全体性能に寄与することを示す。
• バランス変数をベイズ的に扱うモデル変種は、決定論的 counterparts よりも優れており、バランシング決定における不確実性の価値を示す。