[논문 리뷰] Sequential Transfer in Multi-armed Bandit with Finite Set of Models

Mohammad Gheshlaghi Azar, Alessandro Lazaric외 1명|arXiv (Cornell University)|2013. 07. 25.

Advanced Bandit Algorithms Research참고 문헌 26인용 수 52

한 줄 요약

이 논문은 유한한 모델 집합을 가진 다각대 밴딧 문제에 대해 순차적 전이 알고리즘 tUCB를 제안한다. 모멘트 방법을 통해 강건한 텐서 거듭제곱 방법(RTP)을 사용하여 모델 평균을 추정하며, 초기 에피소드에서는 UCB와 동일한 리그레트 한계를 달성하고, 모델가 사전에 알려져 있을 경우 이상적인 성능에 수렴한다. 이는 부정적 전이를 방지하고, 정체성이 알려지지 않은 작업 간에 효율적인 지식 재사용을 가능하게 한다.

ABSTRACT

Learning from prior tasks and transferring that experience to improve future performance is critical for building lifelong learning agents. Although results in supervised and reinforcement learning show that transfer may significantly improve the learning performance, most of the literature on transfer is focused on batch learning tasks. In this paper we study the problem of extit{sequential transfer in online learning}, notably in the multi-armed bandit framework, where the objective is to minimize the cumulative regret over a sequence of tasks by incrementally transferring knowledge from prior tasks. We introduce a novel bandit algorithm based on a method-of-moments approach for the estimation of the possible tasks and derive regret bounds for it.

연구 동기 및 목표

• 작업이 유한한 밴딧 모델 집합에서 추출되며 정체성이 알려지지 않은 온라인 학습 환경에서 효율적인 지식 전이를 가능하게 하기 위해.
• 초기 에피소드에서는 UCB와 동등한 성능을 보이며, 모델 지식이 완전히 알려진 오라클의 성능에 수렴하는 밴딧 알고리즘을 개발하기 위해.
• 부분적 피드백과 은닉된 모델 구조 하에서 순차적 전이에 대한 이론적 리그레트 한계를 제공하기 위해.
• 작업 정체성이 관측되지 않더라도, 강건한 텐서 거듭제곱 방법을 통해 모든 작업 간에 기본 모델 파라미터(암 보상 평균)를 추정하기 위해.

제안 방법

• 관측된 보상은 은닉된 모델에 조건부로 i.i.d.이며, 모델 정체성은 관측되지 않는 잠재 변수 모델(LVM)을 사용한다.
• 모든 모델의 암 평균을 추정하기 위해 관측된 암 추출의 세 번째 순서 모멘트 텐서를 분해함으로써 강건한 텐서 거듭제곱 방법(RTP)을 적용한다.
• LVM 프레임워크 하에서 모델 평균의 일致성 있는 추정을 확보하기 위해 각 암당 최소 3회의 추출이 필요하다.
• 추정된 모델 평균을 통합하여 UCB 알고리즘을 확장함으로써 tUCB를 도입한다. 이는 이후 작업에서 리그레트를 줄이는 데 기여한다.
• 두 번째 및 세 번째 순서 모멘트 텐서를 사용한다: $ M_2 = \sum_\theta \rho(\theta) \mu(\theta)^{\otimes 2} $, $ M_3 = \sum_\theta \rho(\theta) \mu(\theta)^{\otimes 3} $, 이를 통해 텐서 분해를 통한 모델 파라미터 복원을 수행한다.
• 초기 에피소드에서 UCB의 성능을 유지함으로써 tUCB가 부정적 전이를 방지하며, 모델 추정치 수렴에 따라 점차 성능 향상을 이룬다.

실험 결과

연구 질문

• RQ1 작업 정체성이 알려지지 않은 온라인 다각대 밴딧 환경에서 이전 작업의 지식을 효과적으로 전이할 수 있는가?
• RQ2 작업 정체성이 관측되지 않더라도, 텐서 분해를 통한 모멘트 방법 접근이 유한한 밴딧 모델 집합에서 모델 평균을 일관되게 추정할 수 있는가?
• RQ3 제안된 tUCB 알고리즘이 초기 에피소드에서는 UCB와 동일한 리그레트 한계를 달성하고, 사전에 모든 모델를 알고 있는 오라클의 성능에 수렴하는가?
• RQ4 RTP를 사용하여 모델 평균을 일관되게 추정하기 위해 암당 최소 몇 번의 추출이 필요한가?

주요 결과

• tUCB는 초기 에피소드에서 UCB와 동일한 리그레트를 달성하여 초반 학습 단계에서 부정적 전이가 발생하지 않음을 보장한다.
• tUCB의 리그레트는 사전에 모든 모델를 알고 있는 오라클의 성능에 수렴하며, 효과적인 장기적 지식 전이를 보여준다.
• 각 암당 최소 3회의 추출이 이루어지면, 강건한 텐서 거듭제곱 방법(RTP)이 모델 평균에 대해 일관된 추정치를 제공하여 신뢰할 수 있는 전이를 가능하게 한다.
• 합성 데이터에서 tUCB는 10,000개의 작업(각 작업 5,000단계) 동안 평균 리그레트를 3.27로 줄였으며, 표준 UCB는 26.57이었다.
• RTP를 통한 모멘트 방법 접근은 작업 정체성 또는 모델 분포에 대한 사전 지식 없이도 다각대 밴딧에서 전이 학습을 가능하게 한다.