[논문 리뷰] Learning-to-Learn Stochastic Gradient Descent with Biased Regularization

Giulia Denevi, Carlo Ciliberto외 2명|arXiv (Cornell University)|2019. 03. 25.

Stochastic Gradient Optimization Techniques인용 수 43

한 줄 요약

이 논문은 편향 규제된 위험에 대해 SGD를 온라인으로 학습하여 태스크 관련성을 활용하는 학습-투-학습 프레임워크를 소개한다; 이는 초과 전이 위험(bound)과 편향을 추정하는 온라인 메타 알고리즘을 제공한다.

ABSTRACT

We study the problem of learning-to-learn: inferring a learning algorithm that works well on tasks sampled from an unknown distribution. As class of algorithms we consider Stochastic Gradient Descent on the true risk regularized by the square euclidean distance to a bias vector. We present an average excess risk bound for such a learning algorithm. This result quantifies the potential benefit of using a bias vector with respect to the unbiased case. We then address the problem of estimating the bias from a sequence of tasks. We propose a meta-algorithm which incrementally updates the bias, as new tasks are observed. The low space and time complexity of this approach makes it appealing in practice. We provide guarantees on the learning ability of the meta-algorithm. A key feature of our results is that, when the number of tasks grows and their variance is relatively small, our learning-to-learn approach has a significant advantage over learning each task in isolation by Stochastic Gradient Descent without a bias term. We report on numerical experiments which demonstrate the effectiveness of our approach.

연구 동기 및 목표

• 학습-투-학습(LTL)을 메타러닝 접근으로 제시하여 환경에서 얻어지는 태스크 계열에 대해 내부 학습 알고리즘을 선택한다.
• 태스크 관련성을 활용하기 위해 biased regularized true risk에 SGD를 내부 알고리즘으로 제안한다.
• 편향이 독립된 태스크 학습(ITL)보다 성능을 향상시키는지 보여주는 초과 전이 위험 경계를 도출한다.
• 공간 및 시간 복잡도가 낮은 시퀀스의 태스크에서 편향을 점진적으로 추정하는 온라인 메타 알고리즘을 개발한다.
• 메타 알고리즘에 대한 이론적 보장을 제공하고 합성 및 실제 데이터에서 경험적 효과를 입증한다.

제안 방법

• 편향된 규제된 진정 위험(biased regularized true risk)에 SGD를 적용한 내부 알고리즘으로 정의하고, 편향 h와 규제 매개변수 lambda를 사용한다.
• 고정된 편향 h에 대한 초과 전이 위험 경계가 Var_h^2가 작을 때 개선을 보임을 입증한다.
• 대리 목표 L_Zn(h) = min_w R_{Z_n,h}(w) 를 도입하고 이것이 볼록하고 lambda-매끄럽고 그라디언트가 nabla L_Zn(h) = -lambda (w_h(Z_n) - h)로 주어진다고 보인다.
• 알고리즘 2를 개발하여 메타목적에 대해 SGD를 수행하고, 최근 내부 반복에서 파생된 epsilon-서브그라디언트를 사용하여 온라인 편향 업데이트를 가능하게 한다.
• 편향 추정 바 h̄_T와 그에 따른 초과 전이 위험에 대한 경계 제공, O(Var_m / sqrt(n)) 항과 O(1/sqrt(T)) 항을 포함.

실험 결과

연구 질문

• RQ1 편향 규제기가 있는 SGD가 관련 태스크에 대해 편향이 없는 SGD보다 더 잘 작동하는 조건은?
• RQ2 일련의 태스크에 걸쳐 전이 위험을 최소화하기 위해 최적의 편향을 온라인으로 어떻게 추정할 수 있는가?
• RQ3 초과 전이 위험 측면에서 온라인 메타알고리즘이 편향을 업데이트하는 데 있어 통계적 보장은 무엇인가?
• RQ4 공간/시간 복잡도를 유지하면서 제안된 방법은 이론적 보장을 어떻게 유지하는가?
• RQ5 합성 데이터와 실제 데이터에 대한 실험이 LTL에서 biased regularization의 이론적 이점을 뒷받침하는가?

주요 결과

• 태스크 가중 벡터의 분산이 작을 때, 적절한 편향을 가진 SGD가 무편향 학습보다 더 낮은 전이 위험을 산출한다.
• 온라인 메타 알고리즘은 공간 및 시간 복잡도에 낮은 비용으로 편향을 추정할 수 있으며 통계적 보장을 유지한다.
• 고정된 편향에 대한 초과 전이 위험 경계는 Var_h, R, L, n에 의존하며 Var_h가 작을 때 성능이 개선된다.
• 메타 알고리즘은 n과 함께 감소하는 항과 T와 함께 감소하는 항을 결합한 전이 위험 경계를 달성하여 더 많은 태스크를 관측할수록 이점이 있다.
• Corollaries는 ITL (h=0)과 오라클 편향 시나리오가 LTL 문헌과 일치하는 구체적 경계를 제공한다.
• 합성 데이터와 실제 데이터에 대한 실험은 biased regularization이 포함된 온라인 LTL 접근의 실용적 효과를 입증한다.