[논문 리뷰] Towards Understanding Generalization in Gradient-Based Meta-Learning

Simon Guiroy|arXiv (Cornell University)|2019. 07. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 19인용 수 12

한 줄 요약

이 논문은 기울기 기반 메타학습, 특히 MAML에서 일반화를 조사하며 기존의 평탄한 최소값과 일반화 사이의 관계를 도전한다. 적응 경로의 공명도를 측정하는 새로운 정규화 기법을 제안한다—내부 루프 업데이트 방향 간余弦 유사도로 측정되며, Omniglot 20-way 1-shot에서 메타테스트 정확도를 1.33%p 향상시켜 94.05%에서 95.38%로 개선한다. 이는 일반화와 관련된 요소로 평탄함보다는 경로의 공명도가 더 중요하다는 것을 시사한다.

ABSTRACT

Dans ce mémoire, nous étudions la généralisation des réseaux de neurones dans le contexte du méta-apprentissage, en analysant divers propriétés des surface leurs fonctions objectifs. La recherche en apprentissage automatique portant sur les surfaces de fonctions objectifs des réseaux de neurones ayant aidé à comprendre leur généralisation en apprentissage supervisé standard, nous proposons l'étude de telles surfaces dans le but d'approfondir nos connaissances sur la généralisation en méta-apprentissage. Nous introduisons d'abord la littérature sur les fonctions objectifs des réseaux de neurones à la Section ef{sec:intro:objective_landscapes}, puis celle portant sur le méta-apprentissage à la Section ef{sec:intro:meta-learning}, pour enfin terminer notre introduction avec le méta-apprentissage par descente de gradient, très similaire à l'entraînement des réseaux de neurones par descente de gradient stochastique et pour une tâche unique. Nous présentons par la suite notre travail sur les fonctions objectifs en méta-apprentissage au Chapitre ef{chap:prof_forcing}, lequel nous avons soumis à la conférence NeurIPS 2019 en tant qu'article scientifique. Au moment d'écrire ce mémoire, et au meilleur de notre connaissance, ce travail est le premier à étudier empiriquement les surfaces des fonctions objectifs en méta-apprentissage, particulièrement dans le contexte de l'apprentissage profond, et nous mettons notamment en lumière certaines propriétés de ces surfaces qui apparaissent liées à la généralisation des réseaux de neurones à de nouvelles tâches. Nous démontrons empiriquement qu'alors que progresse la phase de méta-entraînement, pour les solutions aux nouvelles tâches obtenues via quelques itérations de descente de gradient, la courbure de la fonction objective décroit monotoniquement, la valeur de la fonction objective diminue, tandis que la distance euclidienne avec la solution ``méta-entraînement" augmente. Cependant, nous observons que la courbure des minima continue de décroître même lorsque le sur-apprentissage devient apparent et que la généralisation commence à se dégrader, indiquant que la courbure des minima semble peu corrélée à la généralisation en méta-apprentissage par descente de gradient. De plus, nous montrons empiriquement que la généralisation aux nouvelles tâches semble plutôt liée à la cohérence de leurs trajectoires d'adaptation dans l'espace des paramètres, mesurée par la similarité cosinus moyenne entre les trajectoires. Nous montrons également que la cohérence des gradients ''meta-test", mesurée par le produit scalaire moyen entre les vecteurs de gradients spécifiques aux nouvelles tâches, évalué à solution meta-entraînement, est également corrélée à la généralisation. Nous basant sur ces observations, nous proposons un nouveau terme de régularisation pour l'algorithme de méta-apprentissage Model Agnostic Meta-Learning (MAML).

연구 동기 및 목표

• 기울기 기반 메타학습에서 일반화와 관련된 최적화 경로의 특성 이해하기.
• 메타학습에서 평탄한 최소값이 일반화와 관련이 있는지 확인하며, 표준 지도학습에서의 이전 가정에 도전하기.
• 소수의 샘플로 이루어진 메타학습 설정에서 일반화를 더 잘 예측할 수 있는 대체 지표 식별하기.
• 적응 경로의 공명도에 기반한 새로운 정규화 기법을 MAML에 개발하기.

제안 방법

• 메타학습 가중치에서 소수의 스텝에 걸친 기울기 적응 후 메타테스트 해를 분석하며, 평탄함, 손실, 메타학습 해로부터의 거리 추적하기.
• 내부 루프 업데이트 방향 간 평균 코사인 유사도를 통해 적응 경로의 공명도 측정하기.
• 메타학습 해에서의 기울기 공명도를 각 작업별 기울기 간 평균 내적을 통해 정량화하기.
• 평균 적응 방향에서 각도적 이탈을 벌금으로 삼는 정규화 기법 제안: $\Omega(\theta) = -\vec{\theta}_i^T \vec{\theta}_\mu$.
• 메타업데이트 계산을 그대로 유지하면서 정규화 기법을 MAML의 내부 루프에 통합하여 업데이트 방향 수정하기.
• 평가를 위해 Omniglot 20-way 1-shot에서 정규화 계수 $\gamma = 0.5$를 사용한 이차 기울기 MAML 적용하기.

실험 결과

연구 질문

• RQ1 기울기 기반 메타학습에서 메타테스트 해의 평탄함이 일반화 성능과 관련이 있는가?
• RQ2 적응 경로의 공명도—업데이트 방향 간 코사인 유사도로 측정—는 일반화와 어떻게 관련되는가?
• RQ3 메타테스트 기울기의 공명도(메타학습 해에서 평가)는 일반화를 예측할 수 있는가?
• RQ4 경로 공명도에 기반한 정규화 기법이 MAML의 메타학습 일반화를 향상시킬 수 있는가?
• RQ5 제안된 정규화 기법이 소수의 샘플 분류에서 표준 MAML 및 피취닝 베이스라인을 능가하는가?

주요 결과

• 메타학습이 진행됨에 따라 메타테스트 해는 점점 더 평탄해지고 지지 손실도 낮아지지만, 일반화 성능이 악화될 때도 이 추세가 계속된다.
• 메타학습에서 과적합이 발생할 경우 일반화 성능이 떨어지지만, 메타테스트 해는 여전히 평탄하기 때문에, 메타학습에서는 평탄한 최소값이 일반화를 설명하지 못한다는 가정에 도전한다.
• 일반화는 적응 경로 방향 간 평균 코사인 유사도와 강하게 상관되며, 다양한 설정에서 일관된 지표를 제공한다.
• 일반화는 메타학습 해에서 평가한 메타테스트 기울기 간 평균 내적과도 상관된다.
• 제안된 정규화 기법은 Omniglot 20-way 1-shot에서 메타테스트 정확도를 94.05%에서 95.38%로 향상시켜 약 23%의 상대적 오차 감소를 이룬다.
• 정규화 기법은 메타업데이트 동안 상수로 간주되기 때문에 계산 오버헤드를 증가시키지 않으며 성능 향상이 가능하다.