[論文レビュー] Gradient Agreement as an Optimization Objective for Meta-Learning

Amir Erfan Eshratifar, David Eigen+1 more|arXiv (Cornell University)|Oct 18, 2018

Domain Adaptation and Few-Shot Learning参考文献 4被引用数 9

ひとこと要約

本稿では、勾配の整合性に基づいてタスクの重みを動的に割り当てることで一般化性能を向上させる、新しいメタラーニング最適化目的関数「勾配一致（Gradient Agreement）」を提案する。平均勾配方向と整合する勾配を持つタスクに高い重みを割り当てることで、MAML や Reptile よりも優れた性能を発揮し、mini-ImageNet および Omniglot ベンチマークで最先端の結果を達成する。

ABSTRACT

This paper presents a novel optimization method for maximizing generalization over tasks in meta-learning. The goal of meta-learning is to learn a model for an agent adapting rapidly when presented with previously unseen tasks. Tasks are sampled from a specific distribution which is assumed to be similar for both seen and unseen tasks. We focus on a family of meta-learning methods learning initial parameters of a base model which can be fine-tuned quickly on a new task, by few gradient steps (MAML). Our approach is based on pushing the parameters of the model to a direction in which tasks have more agreement upon. If the gradients of a task agree with the parameters update vector, then their inner product will be a large positive value. As a result, given a batch of tasks to be optimized for, we associate a positive (negative) weight to the loss function of a task, if the inner product between its gradients and the average of the gradients of all tasks in the batch is a positive (negative) value. Therefore, the degree of the contribution of a task to the parameter updates is controlled by introducing a set of weights on the loss function of the tasks. Our method can be easily integrated with the current meta-learning algorithms for neural networks. Our experiments demonstrate that it yields models with better generalization compared to MAML and Reptile.

研究の動機と目的

• MAML や Reptile におけるタスク寄与度の等重み化という制限を解消することで、メタラーニングにおける一般化性能を向上させること。
• パrameter 更新の全体的傾向と整合する勾配を持つタスクを優先する最適化目的関数を構築すること。
• バッチ内のタスク間での勾配一致を活用することで、未観測タスクへのより速く、より頑健な適応を可能にすること。
• 一次近似を用いた幾何的解釈に基づく理論的裏付けを提供すること。
• 既存手法と比較して、少数ショット分類および回帰ベンチマークで優れた性能を示すこと。

提案手法

• 本手法は、各タスクの勾配とバッチ内全タスクの平均勾配との内積に比例するタスク固有の重み $ w_i $ を導入する。
• 重み $ w_i $ は $ w_i = \frac{\sum_{j \in \mathrm{T}} (g_i^T g_j)}{\sum_{k \in \mathrm{T}} |\sum_{j \in \mathrm{T}} (g_k^T g_j)|} $ で計算され、ここで $ g_i $ はタスク $ i $ の勾配更新ベクトルを表す。
• 外側ループの更新則は $ \theta \leftarrow \theta - \beta \nabla \sum_i w_i L_{\tau_i}(f_{\theta_i}) $ に変更され、勾配方向の整合性が高いタスクに大きな影響を与える。
• 一次近似と二次計画法を用いて導出され、重みの閉形式解が得られる。
• 本手法は MAML や Reptile と両立可能であり、既存のメタラーニングフレームワークへの容易な統合が可能である。
• 重みの正規化制約 $ \|\mathbf{w}\|_1 = 1 $ により、タスク間での安定的かつ解釈可能な重み割り当てが保証される。

実験結果

リサーチクエスチョン

• RQ1 未観測タスクにおける一般化性能を向上させるために、メタラーニングにおけるタスク寄与度を動的に調整する方法は何か？
• RQ2 タスク間の勾配整合性は、メタ更新における個々のタスクの重要性を特定する信頼性のあるシグナルとして機能するか？
• RQ3 勾配一致に基づく重み付きメタ最適化戦略は、MAML や Reptile の等重み戦略を上回る性能を発揮するか？
• RQ4 勾配一致をメタラーニングの最適化目的関数として用いる理論的根拠は何か？
• RQ5 本手法は、mini-ImageNet や Omniglot のような標準的な少数ショット学習ベンチマークで、どのように性能を発揮するか？

主な発見

• mini-ImageNet では、5 ワイ 1 ショット設定で 54.80% の正確度を達成し、Reptile（49.97%）や MAML（48.70%）を著しく上回った。
• より困難な 5 ワイ 5 ショット設定においても、Gradient Agreement は 73.27% の正確度を達成し、Reptile（65.99%）や MAML（63.11%）を上回った。
• Omniglot では、5 ワイ 1 ショットで 98.60%、5 ワイ 5 ショットで 99.80% の正確度を達成し、すべての設定で MAML や Reptile と同等またはそれを上回った。
• 1D のサイン波回帰タスクでは、平均 L2 損失を 0.08 まで低下させ、Reptile の 0.13 よりも優れた一般化性能を示した。
• 理論的分析により、最適な重みは各タスクの勾配と平均勾配との内積に比例することが示され、本手法に幾何的根拠が与えられた。
• 勾配が矛盾する外れ値タスクの悪影響を、メタ更新時にそれらを低減することで効果的に軽減した。