[논문 리뷰] Meta-learning with Stochastic Linear Bandits

Leonardo Cella, Alessandro Lazaric외 1명|arXiv (Cornell University)|2020. 05. 18.

Advanced Bandit Algorithms Research참고 문헌 37인용 수 5

한 줄 요약

이 논문은 사전 작업들로부터 얻은 작업별 편향 벡터를 학습하여 누적 손실 최소화를 향상시키는 편향 정규화된 OFUL 알고리즘을 사용하는 메타학습 프레임워크를 제안한다. 저자들은 이론적으로도 실험적으로도, 작업 분포의 분산이 낮고 작업 수가 증가할 경우, 메타학습된 방법이 경험 전이를 통해 누적 손실을 줄이며 기존의 OFUL보다 유의미하게 뛰어난 성능을 보임을 보여준다.

ABSTRACT

We investigate meta-learning procedures in the setting of stochastic linear bandits tasks. The goal is to select a learning algorithm which works well on average over a class of bandits tasks, that are sampled from a task-distribution. Inspired by recent work on learning-to-learn linear regression, we consider a class of bandit algorithms that implement a regularized version of the well-known OFUL algorithm, where the regularization is a square euclidean distance to a bias vector. We first study the benefit of the biased OFUL algorithm in terms of regret minimization. We then propose two strategies to estimate the bias within the learning-to-learn setting. We show both theoretically and experimentally, that when the number of tasks grows and the variance of the task-distribution is small, our strategies have a significant advantage over learning the tasks in isolation.

연구 동기 및 목표

• 메타학습을 통해 이전 작업 경험을 활용하여 스토하스틱 선형 밴딧에서의 수렴 속도 저하 문제를 해결하고자 한다.
• OFUL 알고리즘의 편향 정규화된 버전이 밴딧 작업 분포 전반에서 손실 최소화에 어떻게 기여하는지 조사하고자 한다.
• 이전에 완료된 작업들로부터 편향 벡터를 추정하기 위한 두 가지 메타학습 전략—평균화와 릿지 회귀—을 개발하고 평가하고자 한다.
• 메타학습이 고립된 학습보다 뚜렷한 성능 향상을 이끌어내는 데 이론적이고 경험적으로 어떤 조건을 충족해야 하는지 규명하고자 한다.

제안 방법

• 학습된 편향 벡터로의 유클리드 거리 제곱을 정규화 항에 포함하는 편향이 있는 OFUL 알고리즘을 도입하여, 작업 간 일반화 성능을 향상시킨다.
• 이전 작업들에서의 작업별 파라미터의 경험적 평균을 사용하는 평균 기반 방법(AVG-OFUL)을 제안하여 편향 벡터를 추정한다.
• 관측된 작업 파라미터에 대한 정규화된 손실을 최소화하는 방식으로 편향 벡터를 추정하는 릿지 회귀 기반 방법(RR-OFUL)을 개발한다.
• 편향 추정은 작업 분포 전반에서 잘 일반화되는 학습 알고리즘을 선택하는 것을 목표로 하는 메타학습 설정에서 수행된다.
• 이론적 분석을 통해 두 방법 모두 낮은 작업 분포 분산과 증가하는 작업 수 조건 하에서 하위선형 손실을 달성함을 보였다.
• 실험적 평가는 인위적 데이터와 실세계 데이터셋(Last.fm 및 Movielens)을 사용하여 수행되었으며, 작업별 특징 표현을 생성하기 위해 SVD와 KMeans를 활용하였다.

실험 결과

연구 질문

• RQ1 편향 정규화된 OFUL의 버전이 표준 OFUL 대비 스토하스틱 선형 밴딧에서 손실을 줄일 수 있는가?
• RQ2 이전 작업들의 분포에서 메타학습을 수행하면 각 작업을 고립적으로 학습하는 것보다 더 나은 성능을 내는가?
• RQ3 평균화와 릿지 회귀와 같은 다른 편향 추정 전략은 손실과 작업의 비일치에 대한 강건성 측면에서 어떻게 비교되는가?
• RQ4 메타학습이 고립된 학습보다 뚜렷한 이점을 제공하는 조건(예: 낮은 작업 분산, 많은 수의 작업)은 무엇인가?
• RQ5 실세계 데이터에서 복잡한 구조를 가진 경우, 제안된 방법은 작업 분포의 비일치에 얼마나 민감한가?

주요 결과

• 작업 수가 증가하고 작업 분포 분산이 작을 경우, 제안된 메타학습 방법인 AVG-OFUL과 RR-OFUL은 표준 OFUL보다 유의미하게 낮은 누적 손실을 기록한다.
• AVG-OFUL은 인위적 데이터와 실세계 데이터 양쪽에서 ITL(개별 작업 학습)보다 일관되게 뛰어난 성능을 보이며, 특히 가정 1(낮은 작업 비일치)이 성립할 경우 두드러진다.
• RR-OFUL은 작업 비일치에 더 민감하며, 작업 유사도가 낮을 경우 성능이 떨어지며, 이는 Movielens에서 높은 비일치 조건에서 성능 저하로 확인되었다.
• 이론적 분석을 통해 두 메타학습 전략 모두 하위선형 손실을 달성함을 확인하였으며, 작업 수가 증가하고 작업 분산이 감소할수록 이점이 커진다.
• Last.fm과 Movielens에서의 경험적 결과는 작업 유사도가 높을 경우 편향이 없는 평균 추정자(AVG-OFUL)가 편향 있는 릿지 추정자(RR-OFUL)를 능가함을 보여준다.
• 오라클 정책(진짜 작업 파라미터를 알고 있는 정책)은 코로나리 2와 가정 1의 타당성을 확인하였으며, 이론적 경계가 실생활에서 의미 있는 것을 보여주었다.