[논문 리뷰] Optimal Learning for Sequential Decision Making for Expensive Cost Functions with Stochastic Binary Feedbacks

Yingfei Wang, Chu Wang외 1명|arXiv (Cornell University)|2017. 09. 13.

Advanced Bandit Algorithms Research참고 문헌 3인용 수 4

한 줄 요약

이 논문은 비용이 많이 들지만 이진 피드백이 주어지는 순차적 의사결정 문제를 위해 온라인 베이지안 로지스틱 회귀를 사용하여 능동 샘플링을 이끄는 지식 경사도(KG) 정책을 제안한다. 이는 초기 반복에서 최신 기술보다 뛰어난 성능을 보이며 渐近적으로 최적임을 보이며, 추정기 일致성과 渐近 정규성에 대한 이론적 보장을 제공한다.

ABSTRACT

We consider the problem of sequentially making decisions that are rewarded by "successes" and "failures" which can be predicted through an unknown relationship that depends on a partially controllable vector of attributes for each instance. The learner takes an active role in selecting samples from the instance pool. The goal is to maximize the probability of success in either offline (training) or online (testing) phases. Our problem is motivated by real-world applications where observations are time-consuming and/or expensive. We develop a knowledge gradient policy using an online Bayesian linear classifier to guide the experiment by maximizing the expected value of information of labeling each alternative. We provide a finite-time analysis of the estimated error and show that the maximum likelihood estimator based produced by the KG policy is consistent and asymptotically normal. We also show that the knowledge gradient policy is asymptotically optimal in an offline setting. This work further extends the knowledge gradient to the setting of contextual bandits. We report the results of a series of experiments that demonstrate its efficiency.

연구 동기 및 목표

• 약물 시험, 나노튜브 생산, 대출 승인과 같은 실제 적용 사례에서 비용이 많이 들지만 확률적 이진 피드백을 받는 순차적 의사결정 문제에 도전한다.
• 각 비용이 많이 드는 실험 후에 신속하게 믿음( beliefs )을 갱신할 수 있는 확장 가능한 온라인 베이지안 선형 분류기 개발.
• 샘플링 결정을 이끄는 예측 가능한 정보의 기대값을 극대화하는 지식 경사도 정책 설계.
• KG 정책 하에서 최대우도 추정기의 유한 시간 이론적 보장(추정 오차, 일치성, 渐近 정규성) 확립.
• 일부 속성이 제어 불가능한(예: 의료 결정에서 환자 특성) 상황을 고려한 컨텍스트 밴딧 설정으로 KG 프레임워크 확장.

제안 방법

• 순차적 관측을 이용해 모델 파라미터에 대한 사후 분포를 반복적으로 갱신하기 위해 온라인 베이지안 로지스틱 회귀 사용.
• 지식 경사도를 각 후보 대안을 측정했을 때 성공 확률 향상의 기대값으로 정의.
• 로지스틱 모델의 KG 계산에서 다루기 어려운 기대값을 처리하기 위해 분석적 근사(예: 라플라스 근사) 적용.
• 탐색과 이용의 균형을 이루기 위해 기대 정보 수익이 가장 높은 대안을 우선순위로 정하는 방식으로 KG 정책을 순차적 의사결정 프레임워크에 통합.
• 통제 가능한 조작 가능한 행동과 통제할 수 없는 컨텍스트 벡터를 모두 고려해 정책을 모델링함으로써 메서드를 컨텍스트 밴딧으로 확장.
• 잠재 함수 $\bm{w}^T\bm{x}$ 기반의 UCB, 무작위 샘플링, 가장 불확실한 샘플링, 기대 개선, 톰슨 샘플링과의 비교를 위해 구현 및 비교 수행.

실험 결과

연구 질문

• RQ1 제한된 비용의 실험 예산 내에서 최고의 대안을 식별할 확률을 극대화하는 샘플링 정책을 어떻게 설계할 수 있는가?
• RQ2 지식 경사도 정책에 의해 적응적으로 선택된 샘플에 기반한 최대우도 추정기의 이론적 성질은 무엇인가?
• RQ3 지식 경사도 정책은 기존의 능동 학습 및 베이지안 최적화 방법과 비교해 초기 성능과 수렴 속도에서 어떻게 다를까?
• RQ4 일부 속성이 제어 불가능한 컨텍스트 밴딧 문제로 지식 경사도를 효과적으로 확장할 수 있는가?
• RQ5 오프라인 설정에서 지식 경사도 정책은 渐近적으로 최적일까? 그리고 추정된 모델 파라미터에 대한 유한 시간 오차 한계는 무엇인가?

주요 결과

• 지식 경사도 정책은 무작위 샘플링, 가장 불확실한 샘플링, 기대 개선보다 초기 반복에서 뚜렷하게 뛰어난 성능을 보이며, 특히 실험 예산이 작은 경우 두각을 나타낸다.
• KG 정책 하에서 적응적으로 샘플링된 점들 기반의 최대우도 추정기는 증명된 바와 같이 일치성과 渐近 정규성을 갖는다.
• KG 정책은 오프라인 설정에서 渐近적으로 최적이며, 실험 수가 증가함에 따라 높은 확률로 최선의 결정에 수렴한다.
• 톰슨 샘플링과 기대 개선은 잘 작동하지만, KG에 비해 초기 학습 단계에서 성능이 열 劣하다. 이는 KG가 미래의 결과 불확실성을 명시적으로 모델링하기 때문이다.
• 잠재 함수 $\bm{w}^T\bm{x}$ 기반의 UCB 정책은 비선형 변환에 따른 분산 전파 왜곡으로 인해 비최적이다.
• 제안된 방법은 고차원 설정으로도 효과적으로 스케일업되며, 이러한 영역에서 가우시안 프로세스 기반 베이지안 최적화의 한계를 극복한다.