[논문 리뷰] Ensemble Sampling

Xiuyuan Lu, Benjamin Van Roy|arXiv (Cornell University)|2017. 05. 20.

Anomaly Detection Techniques and Applications인용 수 25

한 줄 요약

이 논문은 신경망과 같은 복잡한 모델에 적용할 수 있도록 흔들림 샘플링(thompson sampling)의 계산 가능 근사법인 앙상블 샘플링을 소개한다. 모델의 앙상블을 사용해 사후 분포를 근사함으로써, 이 방법은 흔들림 샘플링의 이론적 이점을 유지하면서도 고차원, 비선형 모델로의 효율적 확장을 가능하게 한다.

ABSTRACT

Thompson sampling has emerged as an effective heuristic for a broad range of online decision problems. In its basic form, the algorithm requires computing and sampling from a posterior distribution over models, which is tractable only for simple special cases. This paper develops ensemble sampling, which aims to approximate Thompson sampling while maintaining tractability even in the face of complex models such as neural networks. Ensemble sampling dramatically expands on the range of applications for which Thompson sampling is viable. We establish a theoretical basis that supports the approach and present computational results that offer further insight.

연구 동기 및 목표

• 신경망과 같은 복잡한 모델에서 정확한 흔들림 샘플링의 계산 불가능성 문제를 해결하기 위해.
• 흔들림 샘플링의 이론적 이점을 유지하면서도 확장 가능한 근사 방법을 개발하기 위해.
• 실제 온라인 결정 문제에서 고차원, 비선형 모델을 다루는 데에 흔들림 샘플링의 실용적 적용을 가능하게 하기 위해.
• 앙상블 샘플링이 흔들림 샘플링에 대한 타당한 근사법으로 사용될 수 있음을 뒷받침하는 이론적 기반을 구축하기 위해.

제안 방법

• 모델 파라미터의 사후 분포를 근사하기 위해 모델의 앙상블을 사용한다.
• 앙상블의 경험적 분포에서 샘플링하여 흔들림 샘플링을 시뮬레이션한다.
• 앙상블을 활용해 불확실성을 추정하고 온라인 결정 과제에서 탐색을 이끌어낸다.
• 순차적 결정 문제, 예를 들어 컨텍스트 밴디트와 강화 학습에 이 방법을 적용한다.
• 이론적 분석을 통해 약한 정규성 조건 하에서 앙상블 근사가 진짜 사후 분포로 수렴함을 보여준다.
• 복잡한 모델에 대한 전체 베이지안 추론을 피하는 방식으로 계산 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 앙상블 샘플링은 신경망과 같은 복잡한 모델에 대해 정확한 흔들림 샘플링의 계산 가능 대체 방법이 될 수 있는가?
• RQ2 실제로 앙상블 샘플링은 정확한 흔들림 샘플링의 성능을 얼마나 잘 근사하는가?
• RQ3 앙상블 근사 방법에 대해 어떤 이론적 보장을 설정할 수 있는가?
• RQ4 앙상블 샘플링은 고차원 및 비선형 모델 공간으로 어떻게 확장되는가?
• RQ5 앙상블 샘플링의 경험적 성능은 온라인 결정 과제에서 어떻게 나타나는가?

주요 결과

• 앙상블 샘플링은 정확한 추론이 불가능한 복잡한 모델, 예를 들어 신경망에 대해 흔들림 샘플링의 효과적인 적용을 가능하게 한다.
• 기준 온라인 결정 문제에서 정확한 흔들림 샘플링과 유사한 성능을 달성한다.
• 이론적 분석을 통해 표준 정규성 조건 하에서 앙상블 근사가 타당함을 뒷받침한다.
• 계산 결과를 통해 고차원 환경에서의 확장성과 실용적 유용성을 입증한다.
• 온라인 학습에 필수적인 탐색-이용 균형을 잘 유지한다.
• 다양한 컨텍스트 밴디트 및 강화 학습 과제에서 안정성이 입증된다.