[論文レビュー] Gradient-Based Meta-Learning with Learned Layerwise Metric and Subspace

Yoonho Lee, Seungjin Choi|arXiv (Cornell University)|Jan 17, 2018

Domain Adaptation and Few-Shot Learning被引用数 73

ひとこと要約

MT-nets と T-nets はメタ学習済みのサブスペースとタスク特異的なメトリックの歪みを可能にし、適応すべき重みと高速適応のための活性化空間の形を学習することで、勾配ベースのメタ学習を改善します。

ABSTRACT

Gradient-based meta-learning methods leverage gradient descent to learn the commonalities among various tasks. While previous such methods have been successful in meta-learning tasks, they resort to simple gradient descent during meta-testing. Our primary contribution is the {\em MT-net}, which enables the meta-learner to learn on each layer's activation space a subspace that the task-specific learner performs gradient descent on. Additionally, a task-specific learner of an {\em MT-net} performs gradient descent with respect to a meta-learned distance metric, which warps the activation space to be more sensitive to task identity. We demonstrate that the dimension of this learned subspace reflects the complexity of the task-specific learner's adaptation task, and also that our model is less sensitive to the choice of initial learning rates than previous gradient-based meta-learning methods. Our method achieves state-of-the-art or comparable performance on few-shot classification and regression tasks.

研究の動機と目的

• 層をまたいでタスク適応がどこで（どの部分空間で）発生すべきかを学習する、勾配ベースのメタ学習を動機づける。
• MT-nets を導入し、タスク固有の更新のためのサブスペースと、活性化空間を歪めるメタ学習済みのメトリックの両方を学習する。
• サブスペースの次元がタスクの複雑さを反映することを示し、MT-nets が初期学習率への感度を低減する。
• MT-nets が few-shot 分類および回帰タスクで最先端または競争力のある性能を達成することを示す。

提案手法

• 各層ごとに変換行列 T を用いて活性化空間内のメトリックを学習する Transformation Networks (T-nets) を導入する。
• さらに、特定のタスクに対してどの重みを更新するかを選択する二項勾配マスク M を追加で学習する Mask Transformation Networks (MT-nets) に拡張する。
• MT-nets は M をロジット zeta でパラメータ化し、マスクサンプリングを逆伝搬できるように Gumbel-Softmax 再parameterization を用いる。
• 更新則を示す：W は W - alpha M ∘ ∇_W L(...) の形で更新される。MT-nets では、タスク適応のために勾配のサブスペースを選択し、学習済みのメトリック T を適用する。
• MT-nets が関連するメトリックを持つ任意のサブスペースに制限された更新を実現できること、すなわち低次元でタスク認識された埋め込み空間での勾配降下を効果的に実行できることを導出する。
• データ D_train, D_test を用いたメタ目的関数 L_t(˜θ_W,T, D_train, D_test) を最小化するタスクバッチ上の最適化を概説する。

実験結果

リサーチクエスチョン

• RQ1 層ごとのサブスペースとメトリックを学習することは、勾配ベースのメタ学習の性能にどう影響するか？
• RQ2 MT-nets は各タスクに対してネットワークのどの部分を適応させるか、そしてどれだけ適応させるかを自動的に決定できるか？
• RQ3 サブスペースの次元を学習することがタスクの複雑さと相関し、学習率の選択に対する頑健性を改善するか？
• RQ4 T-nets と MT-nets は標準的な few-shot ベンチマーク（Omniglot、MiniImagenet）および回帰タスクにスケールするか？
• RQ5 MT-nets の行ごとのマスクは、実践での全パラメータマスキングとどのように比較されるか？

主な発見

Model	Omniglot 5-way 1-shot	MiniImagenet 5-way 1-shot
MAML	98.7 ± 0.4	95.8 ± 0.3
Meta-SGD	99.53 ± 0.26	95.93 ± 0.38
T-net	99.4 ± 0.3	96.1 ± 0.3
MT-net	99.5 ± 0.3	96.2 ± 0.4

• MT-nets は MAML、Meta-SGD、および MT-net の変種をサイン波回帰および few-shot 分類ベンチマークで上回る。
• MT-nets は学習率の変化に対して頑健で、α が変化してもパフォーマンスを維持する。これは効果的なステップサイズを歪めるメタ学習された T に起因する。
• MT-nets では更新される重みの割合がタスクの複雑さとともに増加し、メタ学習器が適応に必要なだけの自由度を割り当てることを示唆する。
• Omniglot の 5-way 1-shot と MiniImagenet の 5-way 1-shot の分類で、MT-nets は競合手法に近いまたは上回る精度を達成する（例：Omniglot で MT-net 99.5% および 99.4%、MiniImagenet で MT-net 96.2%）。
• MT-nets はタスクの難易度を反映する次元のサブスペースを学習し、必要なパラメータのみを更新することで暗黙的な Occam 類似の正則化として機能する。
• 提案手法は回帰と分類の双方に一般化可能で、任意のフィードフォワードネットワークを MT-net に変換することでより大規模なアーキテクチャにも適用できる。