[논문 리뷰] Efficient Contextual Bandits with Continuous Actions

Maryam Majzoubi, Chicheng Zhang외 4명|arXiv (Cornell University)|2020. 06. 10.

Advanced Bandit Algorithms Research참고 문헌 54인용 수 6

한 줄 요약

이 논문은 연속적인 행동을 갖는 컨텍스트 밴딧에 대해 계산적으로 효율적인 알고리즘인 CATS를 제안한다. 이 알고리즘은 매끄러운 행동 분포를 갖는 트리 구조 정책을 사용하며, 오ракulum 효율적인 지도 학습을 활용하여 하위선형의 누적 손실을 달성하고 라운드당 로그 시간 복잡도를 확보한다. 이는 실제 데이터셋에서 스케일러블한 온라인 학습과 오프-폴리시 최적화를 가능하게 하며 기존의 기준 대비 빠른 속도 향상을 이룬다.

ABSTRACT

We create a computationally tractable algorithm for contextual bandits with continuous actions having unknown structure. Our reduction-style algorithm composes with most supervised learning representations. We prove that it works in a general sense and verify the new functionality with large-scale experiments.

연구 동기 및 목표

• 기존의 이산화 또는 매끄러움 가정이 비현실적인 연속 행동 공간을 갖는 컨텍스트 밴딧에서 효율적인 온라인 학습의 과제를 해결한다.
• 리프트-컨스턴트와 같은 알려진 매끄러움 파라미터에 의존하지 않는 계산적으로 타당한 알고리즘을 개발한다.
• 스무딩을 통해 전체 행동 공간에 걸쳐 탐색을 유도함으로써 로그된 데이터를 사용해 오프-폴리시 모델 선택을 가능하게 한다.
• 이론적으로 보장된 손실을 확보하면서도 대규모 응용 프로그램에 적합한 낮은 라운드당 계산 비용을 유지한다.
• 실제 구현에 적합하도록 기존의 지도 학습 표현 방식과 원활하게 통합된다.

제안 방법

• 이중 트리 정책을 사용하는 에프클립시-그리디 알고리즘인 CATS를 제안하며, 각 리프는 간격에 대한 매끄러운 행동 분포를 나타낸다.
• 트리 정책 클래스를 도입하여 내부 노드는 컨텍스트를 라우팅하기 위한 분류기를 유지하고, 각 리프는 대역폭 파라미터를 갖는 매끄러운 행동 분포를 출력한다.
• 보상 피드백을 트리의 상단으로 전파하는 재귀적 업데이트 절차를 통해 온라인 학습을 구현하며, 각 노드에서 비용 추정치를 재귀적 비용 함수를 사용해 유지한다.
• 정책 파라미터의 전체 열거를 피함으로써 라운드당 계산을 O(log K)로 줄임으로써 오라클 효율성을 확보한다. 여기서 K는 리프의 수이다.
• 온라인 상호작용 없이 로그된 데이터를 사용해 다양한 복잡도의 트리 정책을 훈련하고 선택할 수 있는 오프-폴리시 변종인 CATS_Off를 도입한다.
• 정책과 기준 모두에 스무딩을 적용함으로써 비매끄러운 환경에 대한 강건성과 대역폭 선택에 대한 민감도 감소를 달성한다.

실험 결과

연구 질문

• RQ1 연속적인 행동을 갖는 컨텍스트 밴딧 알고리즘을 설계할 수 있을까? 이 알고리즘은 매끄러움 파라미터의 사전 지식 없이도 계산적으로 효율적이고 이론적으로 타당한가?
• RQ2 낮은 라운드당 계산 비용을 유지하면서도 연속 행동 컨텍스트 밴딧에서 하위선형의 손실을 달성할 수 있는가?
• RQ3 로그된 데이터를 사용해 연속 행동 밴딧에 대해 오프-폴리시 모델 선택을 가능하게 할 수 있으며, 스무딩이 이를 어떻게 지원하는가?
• RQ4 실세계 환경에서 트리 기반 스무딩 접근법은 균일한 이산화와 파라미터 모델에 비해 얼마나 뛰어난 성능을 보이는가?
• RQ5 오라클 효율적인 설계는 대규모 응용 프로그램에서 기존의 지도 학습 파ipelines와 원활하게 통합할 수 있는가?

주요 결과

• CATS는 라운드당 계산 시간을 O(log K)로 확보하여 기존의 정책 파라미터 전체 열거가 필요한 접근 방식에 비해 지수적 향상을 이룬다.
• 실현 가능성 가정 하에서 CATS는 트리 정책 클래스에 대해 하위선형의 손실을 달성하며 장기적인 성능 향상을 보장한다.
• CATS_Off는 스무딩을 통해 전체 행동 공간에 걸친 탐색을 유도함으로써 로그된 데이터를 사용해 최적의 트리 깊이와 대역폭를 선택할 수 있도록 하며, 효과적인 오프-폴리시 모델 선택을 가능하게 한다.
• 실제 데이터셋에서의 실험 결과 CATS는 dLinear 및 dTree와 같은 기준 방법에 비해 누적 보상과 훈련 효율성에서 뛰어난 성능을 보이며 훈련 시간에서 뚜렷한 속도 향상을 보였다.
• 대역폭 선택에 대한 민감도가 낮고, 겹치는 대역폭 사용과 적응형 간격 선택을 통해 성능이 향상됨을 확인하였다.
• Vowpal Wabbit에 CATS를 통합함으로써 실용적 구현이 가능해졌으며, 이는 생산 환경 유사 조건에서의 확장성과 효율성을 확인하는 데 기여했다.