[논문 리뷰] Theoretical Convergence of Multi-Step Model-Agnostic Meta-Learning

Kaiyi Ji, Junjie Yang외 1명|arXiv (Cornell University)|2020. 02. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 52인용 수 32

한 줄 요약

논문은 재샘플링(resampling)과 유한합(finite-sum) 설정 모두에서 다단계 MAML의 수렴을 보이고 복잡도를 특징화하는 이론적 프레임워크를 제시하며, 내부 스텝 크기는 1/N으로 스케일해야 하고 선형-에- N 계산 비용의 조건을 제공한다.

ABSTRACT

As a popular meta-learning approach, the model-agnostic meta-learning (MAML) algorithm has been widely used due to its simplicity and effectiveness. However, the convergence of the general multi-step MAML still remains unexplored. In this paper, we develop a new theoretical framework to provide such convergence guarantee for two types of objective functions that are of interest in practice: (a) resampling case (e.g., reinforcement learning), where loss functions take the form in expectation and new data are sampled as the algorithm runs; and (b) finite-sum case (e.g., supervised learning), where loss functions take the finite-sum form with given samples. For both cases, we characterize the convergence rate and the computational complexity to attain an $ε$-accurate solution for multi-step MAML in the general nonconvex setting. In particular, our results suggest that an inner-stage stepsize needs to be chosen inversely proportional to the number $N$ of inner-stage steps in order for $N$-step MAML to have guaranteed convergence. From the technical perspective, we develop novel techniques to deal with the nested structure of the meta gradient for multi-step MAML, which can be of independent interest.

연구 동기 및 목표

• 비볼록 설정에서 다단계 MAML의 수렴 연구를 자극한다.
• 재샘플링과 유한합 목표 구조를 분석하기 위한 이론적 프레임워크를 제공한다.
• ε-정확한 해를 얻기 위한 수렴 속도 및 계산 복잡도를 특징화한다.
• 스텝-크기 선택 및 선형-에- N 복잡도 조건에 대한 가이던스를 제공한다.

제안 방법

• 다단계 MAML에 대한 중첩 SGD/L 내부 루프 및 외부 루프 분석을 도출한다.
• 외부 업데이트에 대한 그래디언트 표현 제공: ∇L_i(w) = [∏_{j=0}^{N-1}(I−α∇^2 l_i(w̃_j^i))] ∇l_i(w̃_N^i).
• 재샘플링 케이스에서 해 Hessian 및 그래디언트 추정 오차를 분리하는 새로운 상한을 개발한다.
• 내부와 외부 손실이 서로 다른 유한합(case)으로 분석을 확장한다 (l_{S_i} vs l_{T_i}).
• 메타-그래디언트의 Lipschitz 성질을 입증하고 메타-그래디언트 추정기의 추정 오차를 상한한다.
• β_k = 1/(C_β L̂_{w_k})가 ε-정확 해를 보장하는 조건을 확립하고, 복잡도는 N, ε 및 배치 크기와 연관지어 특징화한다.

실험 결과

연구 질문

• RQ1 다단계 MAML이 재샘플링 및 유한합 설정 모두에서 비볼록 목적 함수에 대해 수렴할 수 있는가?
• RQ2 내부 스텝 크기 α가 수렴을 보장하기 위해 내부 스텝 수 N과 어떻게 스케일해야 하는가?
• RQ3 중첩된 내부 루프가 존재하는 경우 그래디언트/헷시안 추정 오차가 수렴에 어떤 영향을 미치는가?
• RQ4 두 설정 모두에서 ε-정확한 정상점에 도달하기 위한 계산 복잡도는 얼마인가?
• RQ5 유한합의 내부 및 외부 손실 간 차이가 수렴 분석에 어떤 영향을 주는가?

주요 결과

• 수렴을 위해 내부 스텝 크기 α를 αL < 2^(1/(2N)) − 1로 선택하면, α = Θ(1/(NL))임을 보인다.
• N단계 MAML은 적절한 매개변수 선택하에 그래디언트 및 해 Hessian 계산 복잡도가 N에 대해 선형적으로 증가한다.
• 소헛 Hessian 문제에서 더 큰 α를 사용해도 수렴을 보존할 수 있어 실험적 관찰과 일치한다.
• 재샘플링 분석은 내부 최적화 경로 간의 거리에 대한 상한을 통해 Hessian 근사 오차를 그래디언트 오차로부터 분리한다.
• 유한합 분석은 내부 및 외부 손실 간 차이를 다루며 유사한 수렴 보장을 도출한다.
• 코롤로리(Corollaries)는 O(1/ε^2) 메타-반복으로 ε-정확한 해를 보장하고 그래디언트/해 Hessian 계산 복잡도를 명시적으로 제공한다.