[논문 리뷰] Scalable Thompson Sampling via Optimal Transport

Ruiyi Zhang, Zheng Wen외 2명|arXiv (Cornell University)|2019. 02. 19.

Machine Learning and Algorithms인용 수 8

한 줄 요약

이 논문은 정확한 추론이 불가능한 복잡한 모델(예: 신경망)을 위한 확장 가능한 베이지안 추론을 위해 워셔스타인 기울기 유동을 사용하는 π-TS를 제안한다. 이는 분포에 대한 명시적 가정 없이 입자 기반 사후 분포 근사치를 최적화한다. 사후 추론을 확률측도 위의 볼록 최적화 문제로 모델링함으로써, π-TS는 복잡한 신경망을 포함한 대규모 맥락 기반 밴딧 문제에서 뛰어난 불확실성 추정과 성능을 달성하며, 변분 추론과 선형 모델을 포함한 기존의 기준 모델들을 초월한다. 이는 시뮬레이션 및 실제 데이터셋 모두에서 입증되었다.

ABSTRACT

Thompson sampling (TS) is a class of algorithms for sequential decision-making, which requires maintaining a posterior distribution over a model. However, calculating exact posterior distributions is intractable for all but the simplest models. Consequently, efficient computation of an approximate posterior distribution is a crucial problem for scalable TS with complex models, such as neural networks. In this paper, we use distribution optimization techniques to approximate the posterior distribution, solved via Wasserstein gradient flows. Based on the framework, a principled particle-optimization algorithm is developed for TS to approximate the posterior efficiently. Our approach is scalable and does not make explicit distribution assumptions on posterior approximations. Extensive experiments on both synthetic data and real large-scale data demonstrate the superior performance of the proposed methods.

연구 동기 및 목표

• 정확한 추론이 불가능한 복잡한 모델(예: 신경망)에 대해 확장 가능한 사후 근사치를 해결하는 데 도전한다.
• 기존 입자 기반 방법이 입자를 독립적으로 취급하는 데서 비롯되는 한계를 극복하기 위해 입자 간 상호작용을 도입함으로써 사후 근사치의 품질을 향상시킨다.
• 사후 분포에 특정한 파rametric 형태를 가정하지 않고도 효율적이고 원칙적인 사후 근사치를 가능하게 하는 프레임워크를 개발한다.
• 대규모 실제 데이터셋과 동적 의사결정 시나리오에서 제안된 방법의 효과성을 입증한다.
• 워셔스타인 기울기 유동을 통한 이론적으로 탄탄한 사후 샘플링 접근법을 제공함으로써 분포 근사치의 최적성 보장

제안 방법

• 워셔스타인 기울기 유동(WGF)을 사용하여 톰슨 샘플링에서의 사후 근사치를 확률측도 공간 위의 볼록 최적화 문제로 공식화한다.
• 워셔스타인 다양체 위에서 이산 기울기 유동을 통해 진화하는 입자 집합을 사용하여 사후 분포를 근사한다.
• 입자 간 상호작용을 업데이트 규칙에 커널 기반 상호작용 항을 도입함으로써 사후 근사치의 집합적 정교화를 가능하게 한다.
• 입자 간 거리와 커널 함수에 기반한 쌍별 상호작용을 포함한 국소 기울기 하강과 결합된 입자 업데이트 규칙(식 5)을 유도한다.
• 입자 동역학의 안정성을 확보하고 최적화 중 붕괴 또는 열악한 상태를 방지하기 위해 확산 기반 정규화 항을 사용한다.
• 각 결정 단계에서 한 개의 입자를 샘플링함으로써 입자 상호작용 기반 사후 근사치를 톰슨 샘플링에 통합함으로써 불확실성 인식 샘플링을 통한 탐색을 보장한다.

실험 결과

연구 질문

• RQ1 워셔스타인 기울기 유동을 통한 입자 상호작용 최적화는 독립적인 입자 방법에 비해 톰슨 샘플링에서 사후 근사치 향상에 기여하는가?
• RQ2 제안된 π-TS 프레임워크는 대규모 맥락 기반 밴딧 문제에서 VI-TS, Neural-Linear, Lin-TS와 같은 기존 기준 모델보다 더 낮은 손실 성능을 달성하는가?
• RQ3 고차원 또는 비 i.i.d. 관측 환경에서 π-TS는 불확실성 캘리브레이션을 유지하고 손실 분산을 줄이는 데 얼마나 효과적인가?
• RQ4 복잡한 보상 구조를 가진 실제 데이터셋에서, 표현 능력이 제한적이거나 불확실성 추정이 떨어지는 모델들과 비교해 π-TS는 어떻게 성능을 내는가?
• RQ5 워셔스타인 기울기 유동 기반 프레임워크는 사후 분포에 대한 명시적 분포 가정 없이도 복잡한 모델(예: 딥 신경망)에 적용 가능한가?

주요 결과

• π-TS-DGF는 선형 및 희박 선형 밴딧 설정에서 Lin-TS(정확한 사후 분포)에 거의 근접한 손실 성능를 기록하며, Neural-Linear와 VI-TS를 크게 앞서나간다.
• 실제 데이터셋(Statlog, Covertype, Adult, Census, Financial, Mushroom)에서 π-TS는 모든 설정에서 가장 낮은 정규화된 누적 손실을 기록했으며, 특히 더 큰 데이터셋에서 일관된 성능 향상을 보였다.
• VI-TS는 불확실성의 과소평가로 인해 높은 손실 분산과 열악한 성능를 보였지만, π-TS는 입자 간 상호작용 덕분에 더 나은 불확실성 캘리브레이션을 유지했다.
• 더 많은 데이터가 제공될수록 π-TS와 Lin-TS 간의 성능 격차가 줄어들었으며, 이는 π-TS가 Lin-TS가 모델링하지 못하는 복잡한 사후 구조를 효과적으로 포착하고 있음을 시사한다.
• Neural-Linear는 향상된 특징 표현 덕분에 Lin-TS를 초월했지만, 여전히 π-TS에 비해 열등했으며, 특히 신경망 특징이 최적화되지 않은 경우 더욱 두드러졌다.
• π-TS의 입자 상호작용 메커니즘은 모든 평가 시나리오에서 낮은 손실과 분산을 보이며 더 안정적이고 정확한 사후 근사치를 이끌어내었다.