[논문 리뷰] Incremental Learning-to-Learn with Statistical Guarantees

Giulia Denevi, Carlo Ciliberto외 2명|arXiv (Cornell University)|2018. 03. 21.

Machine Learning and Algorithms인용 수 17

한 줄 요약

이 논문은 릿지 회귀를 위한 증분적 러닝-러닝 프레임워크를 제안하며, 특징 표현을 매개변수화하는 양의 준정적행렬을 최적화하기 위해 투영된 확률적 하향기울기 알고리즘을 사용한다. 과잉 전이 위험에 대한 비점근적 고확률 경계를 수립하여, 배치 방법과 비교할 만한 통계적 보장을 제공하면서도 순차적으로 도착하는 작업에 대해 온라인, 메모리 효율적인 적응이 가능하다.

ABSTRACT

In learning-to-learn the goal is to infer a learning algorithm that works well on a class of tasks sampled from an unknown meta distribution. In contrast to previous work on batch learning-to-learn, we consider a scenario where tasks are presented sequentially and the algorithm needs to adapt incrementally to improve its performance on future tasks. Key to this setting is for the algorithm to rapidly incorporate new observations into the model as they arrive, without keeping them in memory. We focus on the case where the underlying algorithm is ridge regression parameterized by a positive semidefinite matrix. We propose to learn this matrix by applying a stochastic strategy to minimize the empirical error incurred by ridge regression on future tasks sampled from the meta distribution. We study the statistical properties of the proposed algorithm and prove non-asymptotic bounds on its excess transfer risk, that is, the generalization performance on new tasks from the same meta distribution. We compare our online learning-to-learn approach with a state of the art batch method, both theoretically and empirically.

연구 동기 및 목표

• 과거 데이터를 저장하지 않고 순차적으로 도착하는 작업에 적응할 수 있는 증분적 러닝-러닝 알고리즘을 개발하는 것.
• 온라인 환경에서 일반화 성능(과잉 전이 위험)에 대한 비점근적 통계적 보장을 제공하는 것.
• 배치 학습-러닝에서의 이론적 분석을 온라인, 증분적 학습 시나리오로 확장하는 것.
• 이전 데이터 세트의 저장을 피함으로써 계산 효율성을 확보하면서도 강력한 일반화 경계를 유지하는 것.
• 온라인 성능이 위험 경계 측면에서 최첨단 배치 방법과 동일하거나 근접할 수 있음을 보여주는 것.

제안 방법

• 메서드는 릿지 회귀의 특징 변환을 매개변수화하는 양의 준정적행렬을 최적화하기 위해 투영된 확률적 하향기울기 알고리즘(PSSA)을 사용한다.
• 목표는 메타분포에서 추출된 미래 작업에 대한 릿지 회귀의 경험적 오차를 최소화하는 것이다.
• 알고리즘은 한 번에 하나의 작업을 처리하며, 각 새로운 데이터셋의 손실에 대한 하향기울기를 사용하여 표현 행렬을 증분적으로 업데이트한다.
• 업데이트 규칙에는 추적 값이 상수로 제한된 양의 준정적행렬 집합 위로의 투영이 포함되어 있어, 타당성과 안정성을 보장한다.
• 투영은 고유값에 대한 소프트 스레시홀딩과 고유분해를 통해 계산되며, 루트 찾기의 비용이 O(d log d)이고 총 계산 비용은 O(d³)로 해결 가능하다.
• 이론적 분석은 온라인 볼록 최적화와 마팅갈 농도를 활용하여 과잉 전이 위험에 대한 고확률 경계를 유도한다.

실험 결과

연구 질문

• RQ1 온라인, 증분적 러닝-러닝 알고리즘이 배치 방법과 비교할 만한 통계적 보장을 달성할 수 있는가?
• RQ2 온라인 알고리즘의 과잉 전이 위험은 고확률적으로 어떻게 행동하는가? 수렴 속도는 어떻게 설정할 수 있는가?
• RQ3 과거 데이터 세트를 저장하지 않으면서도 강력한 일반화 성능을 유지할 수 있는가?
• RQ4 투영된 확률적 하향기울기 방법은 온라인 메타학습 환경에서 수렴성과 안정성을 보장하는 데 어떤 역할을 하는가?
• RQ5 이론적 경계가 배치 학습-러닝 설정에서의 기존 경계와 비교해 볼 때 어떻게 되는가?

주요 결과

• 제안된 온라인 알고리즘은 이전의 배치 학습-러닝 방법과 동일한 비점근적 고확률 경계를 과잉 전이 위험에 대해 달성한다.
• 알고리즘의 리그레트 경계는 작업 수가 증가함에 따라 최적의 표현 행렬로 수렴함을 높은 확률로 보장한다.
• 이론적 분석은 온라인 추정기의 기대 위험이 작업 수와 신뢰 수준에 따라 의존하는 속도로 최적의 위험으로 수렴함을 확인한다.
• 투영 단계는 표현 행렬이 양의 준정적행렬이면서 추적 값으로 제한됨을 보장하여 안정성과 일반화에 핵심적인 역할을 한다.
• 각 업데이트의 계산 비용은 헤시안 유사 행렬의 고유분해에 의해 지배되며, 효율적인 O(d³) 해법이 가능하다.
• 정리 15에 따르면, 작업이 i.i.d.로 샘플링될 경우 온라인 추정기의 평균 위험이 높은 확률로 최적의 위험으로 수렴함을 보장한다.