[論文レビュー] Towards Understanding Generalization in Gradient-Based Meta-Learning

Simon Guiroy|arXiv (Cornell University)|Jul 16, 2019

Domain Adaptation and Few-Shot Learning参考文献 19被引用数 12

ひとこと要約

この論文は勾配ベースのメタラーニング、特にMAMLにおける一般化を調査し、従来の平坦なミニマと一般化の間の関連性に疑問を呈する。本研究では、内側ループでの更新方向のコヒーレンス（コサイン類似度で測定）に基づく新たな正則化子を提案し、Omniglot 20-way 1-shotでメタテスト精度を1.33ポイント向上（94.05%から95.38%）させた。これは、一般化と相関する要因は平坦性ではなく、適応軌道のコヒーレンスであることを示している。

ABSTRACT

Dans ce mémoire, nous étudions la généralisation des réseaux de neurones dans le contexte du méta-apprentissage, en analysant divers propriétés des surface leurs fonctions objectifs. La recherche en apprentissage automatique portant sur les surfaces de fonctions objectifs des réseaux de neurones ayant aidé à comprendre leur généralisation en apprentissage supervisé standard, nous proposons l'étude de telles surfaces dans le but d'approfondir nos connaissances sur la généralisation en méta-apprentissage. Nous introduisons d'abord la littérature sur les fonctions objectifs des réseaux de neurones à la Section ef{sec:intro:objective_landscapes}, puis celle portant sur le méta-apprentissage à la Section ef{sec:intro:meta-learning}, pour enfin terminer notre introduction avec le méta-apprentissage par descente de gradient, très similaire à l'entraînement des réseaux de neurones par descente de gradient stochastique et pour une tâche unique. Nous présentons par la suite notre travail sur les fonctions objectifs en méta-apprentissage au Chapitre ef{chap:prof_forcing}, lequel nous avons soumis à la conférence NeurIPS 2019 en tant qu'article scientifique. Au moment d'écrire ce mémoire, et au meilleur de notre connaissance, ce travail est le premier à étudier empiriquement les surfaces des fonctions objectifs en méta-apprentissage, particulièrement dans le contexte de l'apprentissage profond, et nous mettons notamment en lumière certaines propriétés de ces surfaces qui apparaissent liées à la généralisation des réseaux de neurones à de nouvelles tâches. Nous démontrons empiriquement qu'alors que progresse la phase de méta-entraînement, pour les solutions aux nouvelles tâches obtenues via quelques itérations de descente de gradient, la courbure de la fonction objective décroit monotoniquement, la valeur de la fonction objective diminue, tandis que la distance euclidienne avec la solution ``méta-entraînement" augmente. Cependant, nous observons que la courbure des minima continue de décroître même lorsque le sur-apprentissage devient apparent et que la généralisation commence à se dégrader, indiquant que la courbure des minima semble peu corrélée à la généralisation en méta-apprentissage par descente de gradient. De plus, nous montrons empiriquement que la généralisation aux nouvelles tâches semble plutôt liée à la cohérence de leurs trajectoires d'adaptation dans l'espace des paramètres, mesurée par la similarité cosinus moyenne entre les trajectoires. Nous montrons également que la cohérence des gradients ''meta-test", mesurée par le produit scalaire moyen entre les vecteurs de gradients spécifiques aux nouvelles tâches, évalué à solution meta-entraînement, est également corrélée à la généralisation. Nous basant sur ces observations, nous proposons un nouveau terme de régularisation pour l'algorithme de méta-apprentissage Model Agnostic Meta-Learning (MAML).

研究の動機と目的

• 勾配ベースのメタラーニングにおける一般化と関連する最適化ランドスケープの性質を理解すること。
• メタラーニングにおいて平坦なミニマが一般化と相関するかどうかを検証し、従来の教師あり学習からの仮定に疑問を呈すること。
• 少数ショットメタラーニング設定における、より予測力の高い代替指標を同定すること。
• 適応軌道のコヒーレンスに関する実証的知見に基づいた、MAML用の新しい正則化子を開発すること。

提案手法

• メタトレイン重みから少数ステップの勾配適応後のメタテスト解を分析し、平坦性、損失、メタトレイン解からの距離を追跡する。
• 内側ループの更新方向ベクトル間の平均コサイン類似度を用いて、適応軌道のコヒーレンスを測定する。
• メタトレイン解におけるタスク固有勾配間の平均内積を用いて、勾配のコヒーレンスを定量化する。
• 平均適応方向からの角度偏差をペナルティ化する正則化子を提案し、$\Omega(\theta) = -\vec{\theta}_i^T \vec{\theta}_\mu$ として計算する。
• メタ更新計算を変更せずに、正則化子をMAMLの内側ループに統合し、更新方向を修正する。
• 評価のため、Omniglot 20-way 1-shotで正則化係数 $\gamma = 0.5$ を用いた2次勾配MAMLを採用する。

実験結果

リサーチクエスチョン

• RQ1 勾配ベースのメタラーニングにおいて、メタテスト解の平坦性は一般化性能と相関するか？
• RQ2 更新方向のコサイン類似度で測定される適応軌道のコヒーレンスは、一般化とどのように関連するか？
• RQ3 メタトレイン解におけるメタテスト勾配のコヒーレンス（平均内積で評価）は、一般化を予測できるか？
• RQ4 適応軌道のコヒーレンスに基づく正則化子は、MAMLにおけるメタラーニングの一般化を向上させられるか？
• RQ5 提案された正則化子は、標準MAMLおよび微調整ベースラインを上回る性能を示すか？

主な発見

• メタトレーニングが進行するにつれ、メタテスト解は平坦化し、サポート損失も低下するが、一般化性能が劣化する際でさえこの傾向が続く。
• メタトレーニングの過学習が進むと一般化性能が低下するが、メタテスト解は依然として平坦なままであり、これはメタラーニングにおける平坦なミニマ一般化仮説に反する。
• 一般化性能は、適応軌道方向の平均コサイン類似度と強く相関しており、設定にかかわらず一貫した指標となる。
• 一般化性能は、メタトレイン解におけるメタテスト勾配間の平均内積とも相関している。
• 提案された正則化子により、Omniglot 20-way 1-shotでメタテスト精度が94.05%から95.38%に向上し、誤差は約23%相対的に削減された。
• 正則化子は計算オーバーヘッドを増加させない。ペナルティ項はメタ更新中に定数として扱われるためである。