[논문 리뷰] Regret Bounds for Lifelong Learning

Pierre Alquier, Mai, The Tien외 1명|arXiv (Cornell University)|2016. 10. 27.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 순차적으로 처리되는 작업 간에 데이터 표현을 개선하기 위해 지수 가중 평균화를 사용하는 메타알고리즘인 EWA-LL을 제안한다. 이는 내부 작업 알고리즘의 성능 보장을 상속하는 회귀 손실 한계를 설정하며, 일반적이고 볼록한 손실 함수 하에서 유한한 예측자 집합에 대해 이전의 $O(1/\sqrt{m})$ 한계보다 더 날카로운 $O(1/m)$ 속도를 달성한다. 여기서 $m$은 각 작업의 표본 크기이다.

ABSTRACT

We consider the problem of transfer learning in an online setting. Different tasks are presented sequentially and processed by a within-task algorithm. We propose a lifelong learning strategy which refines the underlying data representation used by the within-task algorithm, thereby transferring information from one task to the next. We show that when the within-task algorithm comes with some regret bound, our strategy inherits this good property. Our bounds are in expectation for a general loss function, and uniform for a convex loss. We discuss applications to dictionary learning and finite set of predictors. In the latter case, we improve previous $O(1/\sqrt{m})$ bounds to $O(1/m)$ where $m$ is the per task sample size.

연구 동기 및 목표

• 내부 작업 알고리즘에 대한 최소한의 가정 하에 수명 주기 학습의 이론적 분석을 제공하기 위해.
• 공유되는 데이터 표현을 개선함으로써 작업 간 지식을 전이하는 메타알고리즘을 개발하기 위해.
• 내부 작업 학습자들의 통계적 성질을 상속하는 메타알고리즘에 대한 손실 한계를 유도하기 위해.
• 특히 유한한 예측자 집합에 대해 기존의 수렴 속도를 향상시키기 위해.
• 온라인에서 배우는 방식을 배치로 변환함으로써 학습-학습 설정으로 분석을 확장하기 위해.

제안 방법

• 각 작업 이후에 지수 가중 평균화(EWA)를 사용하여 표현에 대한 사전을 유지하고 업데이트하는 메타알고리즘인 EWA-LL을 제안한다.
• 온라인 손실 분석을 통해 메타학습자의 누적 손실을 이상적인 예측자에 상대적으로 제한한다.
• 학습-학습 설정을 위한 일반화 위험 한계를 도출하기 위해 온라인에서 배치로의 변환을 적용한다.
• 집중 기법을 사용하여 볼록한 손실 함수 하에서 균일한 손실 한계를 도출한다.
• 학습-학습에서의 일반화를 보장하기 위해 표현과 예측자에 대한 랜덤 선택 전략을 활용한다.
• 사전 학습된 사전지식 기반의 사전 학습 및 유한한 예측자 집합에 대한 두 가지 핵심 응용 분야에서의 성능을 분석한다.

실험 결과

연구 질문

• RQ1 내부 작업 알고리즘의 손실 성질을 상속하는 수명 주기 학습을 위한 메타알고리즘을 설계할 수 있는가?
• RQ2 일반적이고 볼록한 손실 함수 하에서 이러한 메타알고리즘에 대해 어떤 손실 한계를 확립할 수 있는가?
• RQ3 작은 표본 크기에서 기존의 $O(1/\sqrt{m})$ 한계에 비해 향상된 수렴 속도를 도출할 수 있는가?
• RQ4 온라인 수명 주기 학습 프레임워크를 오프라인 학습-학습 설정으로 어떻게 적응시킬 수 있는가?
• RQ5 EWA-LL 메타알고리즘에 대해 균일한 고확률 한계를 도출할 수 있는가?

주요 결과

• EWA-LL 메타알고리즘은 내부 작업 알고리즘의 손실 한계를 상속하여, 개별 작업에서 양호한 성능이 수명 주기 설정에서의 양호한 성능로 이어짐을 보장한다.
• 유한한 예측자 집합에 대해 이전의 $O(1/\sqrt{m})$ 손실 한계를 $O(1/m)$으로 향상시켰으며, 여기서 $m$은 각 작업의 표본 크기이다.
• 일반적인 손실 한계는 $1/\sqrt{T} + 1/\sqrt{m}$의 주기이며, 특정 경우에서는 $1/\sqrt{T} + 1/m$의 향상된 속도를 보인다.
• 볼록한 손실 함수 하에서 균일한 손실 한계가 확립되어 기대값을 초월해 고확률 보장을 포함하는 분석을 확장한다.
• 온라인에서 배운 방식을 배치로 변환함으로써 학습-학습 설정에 대한 위험 한계를 도출하였으며, 이는 전략이 새로운 작업으로 잘 일반화됨을 보여준다.
• 이 프레임워크는 사전 학습된 사전지식 기반의 사전 학습 및 커널 방법에 적용 가능하며, 딥 네ural 네트워크 및 기타 표현 학습 모델로의 확장 가능성도 있다.