[논문 리뷰] Thompson Sampling for Contextual Bandit Problems with Auxiliary Safety Constraints

Samuel Daulton, Shaun Singh외 3명|arXiv (Cornell University)|2019. 11. 01.

Advanced Bandit Algorithms Research인용 수 8

한 줄 요약

이 논문은 보조 안전 제약 조건을 갖춘 콘텍스트 밴드잇 알고리즘인 TS-ASC(Thompson Sampling with Auxiliary Safety Constraints)를 제안한다. 이 알고리즘은 주 보상(보상)을 최적화하면서도 기준 정책에 비해 보조 지표에 대한 확률적 안전 제약 조건을 준수한다. 이는 다목적 설정에서 안전한 탐색을 가능하게 하며, 실제 영상 인코딩 작업에서 검증되었으며, 업로드 신뢰성 저하 없이 품질을 향상시키는 데 성공했다. Bayesian 최적화를 통해 안전성 및 보상 파rameter를 동시에 최적화함으로써 두 지표에서 동시에 성능 향상을 달성했다.

ABSTRACT

Recent advances in contextual bandit optimization and reinforcement learning have garnered interest in applying these methods to real-world sequential decision making problems. Real-world applications frequently have constraints with respect to a currently deployed policy. Many of the existing constraint-aware algorithms consider problems with a single objective (the reward) and a constraint on the reward with respect to a baseline policy. However, many important applications involve multiple competing objectives and auxiliary constraints. In this paper, we propose a novel Thompson sampling algorithm for multi-outcome contextual bandit problems with auxiliary constraints. We empirically evaluate our algorithm on a synthetic problem. Lastly, we apply our method to a real world video transcoding problem and provide a practical way for navigating the trade-off between safety and performance using Bayesian optimization.

연구 동기 및 목표

• 기준 정책에 대해 안전 제약 조건이 존재하는 실세계의 순차적 의사결정 문제를 해결하기 위해.
• 보조 지표(예: 신뢰성)가 기준 수준 이하로 떨어지지 않도록 보장하면서도 탐색과 이용의 균형을 이루는 실용적이고 강건한 방법을 개발하기 위해.
• 기존의 컨텍스트 밴드잇 프레임워크를 단일 목표 최적화를 넘어서, 확률적이고 알려지지 않은 안전 제약 조건이 존재하는 설정으로 일반화하기 위해.
• 생산 환경에서 안전성과 보상 간의 트레이드오프를 조정하기 위한 확장 가능한 Bayesian 최적화 기반 접근법을 제공하기 위해.
• 품질과 신뢰성 간에 갈등이 존재하는 실세계의 영상 인코딩 응용 분야에서 방법의 효과성을 입증하기 위해.

제안 방법

• 기준 정책에 비해 성공 확률(예: 신뢰성 있는 업로드)을 맥락과 행동의 함수로 모델링함으로써 보조 안전 제약 조건을 통합한, Thompson 샘플링 기반 알고리즘인 TS-ASC를 제안한다.
• 맥락-행동 쌍에서 특징을 추출하기 위해 공유된 두 층의 완전 연결 신경망을 사용한 후, 선형 커널과 베르누이 우도를 갖는 가우시안 프로세스를 사용해 성공 확률을 모델링한다.
• 주 목표(예: 1080p 품질 유지)와 안전 기준을 α로 매개변수화한 보상 형상화 메커니즘을 도입하며, 이는 보조 지표 성능 저하의 허용 수준을 제어한다.
• 노이즈가 있는 제약 조건을 갖는 결과에 대해 Bayesian 최적화를 적용하여 보상 함수 파rameter(Ω)와 안전 기준(α)을 동시에 최적화한다.
• 보조 안전 제약 조건을 시간에 따라 변하는 기준 기반으로 모델링함으로써, 하위 집단 전반에서 정책이 현재 상태보도 이하로 신뢰성을 떨어뜨리지 않도록 보장한다.
• A/B 테스트와 반응 표면 모델링을 통해 다양한 α 값과 보상 파rameter 설정에서 품질과 신뢰성 간의 트레이드오프를 시각화함으로써 방법을 검증한다.

실험 결과

연구 질문

• RQ1 확률적이고 맥락 의존적인 환경에서, 보조 지표가 기준 정책의 성능 이하로 떨어지지 않도록 보장하면서도 주 보상 지표를 효과적으로 최적화할 수 있는 컨텍스트 밴드잇 알고리즘이 존재하는가?
• RQ2 기준 성능이 시간에 따라 변하고 사전에 알려져 있지 않을 경우, 안전 제약 조건은 어떻게 모델링하고 시행할 수 있는가?
• RQ3 안전 기준 매개변수 α가 실세계 시스템에서 성능 향상과 신뢰성 유지 간의 트레이드오프에 미치는 영향은 어떠한가?
• RQ4 Thompson 샘플링은 노이즈가 있고 이진 결과가 존재하는 다목적 밴드잇 문제에서 보조 안전 제약 조건을 다룰 수 있도록 어떻게 확장될 수 있는가?
• RQ5 생산 규모의 응용에서, 제안된 TS-ASC 방법은 기존의 Vanilla Thompson Sampling에 비해 성능과 안전성 측면에서 어떻게 비교되는가?

주요 결과

• TS-ASC는 업로드 신뢰성을 유지하거나 향상시키면서도 1080p 품질을 유지하는 영상 비율을 증가시켜 두 지표에서 동시에 성능 향상을 달성했다.
• α가 0에 가까이 설정될 경우, 정책은 기준 정책에 비해 신뢰성 저하가 없음을 보장하여 강력한 안전성 확보를 입증했다.
• α가 증가함에 따라 정책은 더 관대해지며, 작은 허용 가능한 신뢰성 저하를 감수함으로써 더 높은 품질의 업로드를 허용하게 되었으며, 이는 반응 표면 분석을 통해 확인되었다.
• 기본적인 Thompson 샘플링은 모든 테스트 파arameter 설정에서 지속적으로 신뢰성을 저하시켰으며, 이는 보조 안전 제약 조건의 필요성을 강력히 시사한다.
• Bayesian 최적화가 유리한 트레이드오프를 갖는 파arameter 설정(α 및 Ω)을 효과적으로 식별했으며, TS-ASC 정책는 품질과 신뢰성 측면에서 모두 Vanilla TS를 능가했다.