[논문 리뷰] Online Stochastic Linear Optimization under One-bit Feedback

Lijun Zhang, Tianbao Yang외 2명|arXiv (Cornell University)|2015. 09. 25.

Advanced Bandit Algorithms Research참고 문헌 38인용 수 32

한 줄 요약

이 논문은 로짓 모델과 온라인 뉴턴 스텝의 변종을 활용하여 알려지지 않은 매개변수에 대한 날카운 confidence region을 유지함으로써, 한 개의 피드백 비트를 갖는 스 tochastic 선형 최적화를 위한 효율적인 온라인 학습 알고리즘을 제안한다. 이 방법은 $\widetilde{O}(d\sqrt{T})$의 리그레트 한계를 달성하며, 이는 스 tochastic 선형 밴드잇의 최적 속도를 따라가며 실세계 응용에 있어 계산적으로 실용적이다.

ABSTRACT

In this paper, we study a special bandit setting of online stochastic linear optimization, where only one-bit of information is revealed to the learner at each round. This problem has found many applications including online advertisement and online recommendation. We assume the binary feedback is a random variable generated from the logit model, and aim to minimize the regret defined by the unknown linear function. Although the existing method for generalized linear bandit can be applied to our problem, the high computational cost makes it impractical for real-world problems. To address this challenge, we develop an efficient online learning algorithm by exploiting particular structures of the observation model. Specifically, we adopt online Newton step to estimate the unknown parameter and derive a tight confidence region based on the exponential concavity of the logistic loss. Our analysis shows that the proposed algorithm achieves a regret bound of $O(d\sqrt{T})$, which matches the optimal result of stochastic linear bandits.

연구 동기 및 목표

• 기존의 일반화된 선형 밴드잇 방법들이 한 개 피드백 비트 피드백 환경에서 계산적으로 비효율적인 문제를 해결하기 위해.
• 매개변수 추정을 위해 로지스틱 손실의 지수적 볼록성의 특성을 활용하는 실용적인 온라인 알고리즘을 개발하기 위해.
• 로짓 모델 하에서 한 개 피드백 비트 피드백을 통해 알려지지 않은 매개변수에 대한 날카운 confidence region을 구성하기 위해.
• 스 tochastic 선형 밴드잇의 최적 $\widetilde{O}(d\sqrt{T})$ 속도를 따라가며 리그레트 한계를 달성하기 위해.

제안 방법

• 알려지지 않은 매개변수 벡터 $\mathbf{w}_*$를 한 개 피드백 비트 피드백으로부터 추정하기 위해 온라인 뉴턴 스텝 알고리즘의 변종을 채택한다.
• 로지스틱 손실 함수의 지수적 볼록성을 이용하여 $\mathbf{w}_*$에 대한 이론적으로 타당한 confidence region을 유도한다.
• 불확실성에 대한 낙관주의 원칙을 적용하여 confidence region 내에서 선형 보상이 최대가 되는 행동을 선택한다.
• 이전의 행동 기반으로 adaptively confidence region을 업데이트하기 위해 동적 정밀도 행렬 $Z_t$를 유지한다.
• 행렬 역행렬과 업데이트 연산의 비용을 줄이기 위한 계산 최적화를 도입한다.
• 로짓 모델 하에서 선형 리그레트와 비선형 리그레트가 상수 인자로만 다름을 증명하여 분석의 단순화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 기존의 일반화된 선형 밴드잇 방법들이 높은 계산 비용을 유발하는 문제를 피하면서, 스 tochastic 선형 최적화에서 한 개 피드백 비트 피드백을 위한 효율적인 온라인 알고리즘을 설계할 수 있는가?
• RQ2 로지스틱 손실의 지수적 볼록성은 한 개 피드백 비트 피드백 하에서 알려지지 않은 매개변수에 대한 날카운 confidence region을 구성하는 데 어떻게 활용될 수 있는가?
• RQ3 제안된 알고리즘이 스 tochastic 선형 밴드잇의 최적 $\widetilde{O}(d\sqrt{T})$ 속도를 따라가며 리그레트 한계를 달성하는가?
• RQ4 한 개 관측 피드백을 기반으로 온라인 방식으로 confidence region을 유지하고 업데이트할 때의 계산적 트레이드오프는 무엇인가?
• RQ5 로짓 모델에서 비선형 리그레트는 선형 리그레트 공식화를 통해 효과적으로 유계로 유지될 수 있는가?

주요 결과

• 제안된 알고리즘은 $\widetilde{O}(d\sqrt{T})$의 리그레트 한계를 달성하며, 이는 스 tochastic 선형 밴드잇의 최적 속도를 그대로 따르고 있다.
• 로짓 모델 하에서 선형 리그레트와 비선형 리그레트는 상수 인자로만 다름을 증명하여, 더 단순한 선형 리그레트 분석을 사용할 수 있다.
• confidence region는 온라인 뉴턴 스텝의 변종을 통해 구성되며, 이는 로지스틱 손실의 지수적 볼록성에 기반한 폭으로 유도된다.
• 알고리즘은 계산적으로 효율적이며 전체 학습 역사 저장을 피하므로 실시간 응용에 적합하다.
• 이론적 분석을 통해 알고리즘이 최적의 리그레트 속도를 유지하면서도 대규모 온라인 의사결정에 실용적임을 확인하였다.
• 행렬 업데이트 및 역행렬 연산의 비용을 줄이기 위한 계산 최적화가 제공되어 확장성 향상에 기여한다.