[논문 리뷰] Multi-objective Contextual Bandit Problem with Similarity Information

Eralp Turğay, Doruk Öner외 1명|arXiv (Cornell University)|2018. 03. 11.

Advanced Bandit Algorithms Research인용 수 9

한 줄 요약

이 논문은 유사도 정보를 갖는 다목적 맥락적 밴디트 문제를 제안하며, 여러 상충하는 목적이 존재하고 보상이 맥락-암 유사도에 대해 리프시츠 연속적임을 가정한다. 저자는 과거의 보상과 위치에 기반해 맥락-암 공간을 적응적으로 분할하는 온라인 알고리즘인 파레토 컨텍스트 줌인(Pareto Contextual Zooming, PCZ)을 제안하여, 근사적으로 최적의 ˜O(T^{(1+dp)/(2+dp)}) 파레토 리그레트를 달성한다. 여기서 dp는 근사 최적의 암 분포의 복잡성을 반영하는 파레토 줌 차원이다.

ABSTRACT

In this paper we propose the multi-objective contextual bandit problem with similarity information. This problem extends the classical contextual bandit problem with similarity information by introducing multiple and possibly conflicting objectives. Since the best arm in each objective can be different given the context, learning the best arm based on a single objective can jeopardize the rewards obtained from the other objectives. In order to evaluate the performance of the learner in this setup, we use a performance metric called the contextual Pareto regret. Essentially, the contextual Pareto regret is the sum of the distances of the arms chosen by the learner to the context dependent Pareto front. For this problem, we develop a new online learning algorithm called Pareto Contextual Zooming (PCZ), which exploits the idea of contextual zooming to learn the arms that are close to the Pareto front for each observed context by adaptively partitioning the joint context-arm set according to the observed rewards and locations of the context-arm pairs selected in the past. Then, we prove that PCZ achieves $ ilde O (T^{(1+d_p)/(2+d_p)})$ Pareto regret where $d_p$ is the Pareto zooming dimension that depends on the size of the set of near-optimal context-arm pairs. Moreover, we show that this regret bound is nearly optimal by providing an almost matching $\Omega (T^{(1+d_p)/(2+d_p)})$ lower bound.

연구 동기 및 목표

• 맥락에 의존하는 보상이 존재하는 다수의 상충하는 목적이 있는 순차적 의사결정 문제를 다루기 위해.
• 정렬 시스템 및 의료 진단과 같이 다목적 간 공정성이 필수적인 실세계 응용을 모델링하기 위해.
• 맥락에 의존하는 파레토 최적 해의 전체 특성 정보가 필요 없이도 하위선형 리그레트를 달성하는 학습 알고리즘을 개발하기 위해.
• 학습 효율성을 향상시키기 위해 맥락-암 쌍 간의 유사도 정보를 통합하기 위해.
• 파레토 줌 차원 dp를 통해 파레토 경계의 본질적 복잡성을 반영하는 날카운 리그레트 경계를 수립하기 위해.

제안 방법

• 선택된 암들이 맥락별 파레토 최적 경계에서 떨어진 거리의 합으로 정의된 새로운 성능 지표인 맥락적 파레토 리그레트를 제안한다.
• 관측된 보상과 선택 이력에 기반해 관측된 보상과 선택 이력에 기반해 연속적인 맥락-암 유사도 공간을 적응적으로 분할하는 파레토 컨텍스트 줌인(PCZ) 알고리즘을 도입한다.
• 다목적 환경에서의 이용과 탐색의 균형을 이루기 위해 신뢰구간과 UCB 스타일의 탐색을 사용한다.
• 각 공이 유사도 공간의 영역을 나타내며, 지배당하지 않는 공들만 선택 대상으로 고려하는 볼 기반 분할 기법을 사용한다.
• 근접한 맥락-암 쌍들이 유사한 보상을 가지도록 기대 보상 함수의 리프시츠 연속성을 활용한다.
• 공들의 계층적 군집화를 수행하고, 불확실성이 높거나 파레토 개선 가능성이 높은 영역을 동적으로 정밀화한다.

실험 결과

연구 질문

• RQ1 유사도 정보가 존재하는 다목적 맥락적 밴디트 환경에서 온라인 학습 알고리즘이 하위선형 파레토 리그레트를 달성할 수 있는가?
• RQ2 파레토 경계의 복잡도—파레토 줌 차원 dp로 측정—는 리그레트 경계에 어떤 영향을 미치는가?
• RQ3 전체 파레토 경계의 특성 정보 없이도 최적의 리그레트를 달성할 수 있는가?
• RQ4 제안된 리그레트 경계 ˜O(T^{(1+dp)/(2+dp)})는 거의 최적이며, 하한선으로서도 달성 가능한가?
• RQ5 알고리즘은 추정된 파레토 경계에서 공정하게 샘플링함으로써 다목적 간 공정성을 어떻게 확보하는가?

주요 결과

• PCZ 알고리즘은 고확률적으로 ˜O(T^{(1+dp)/(2+dp)})의 파레토 리그레트 경계를 달성한다. 여기서 dp는 파레토 줌 차원이다.
• 논문은 로그 인자들을 제외한 상한선과 일치하는 하한선 Ω(T^{(1+dp)/(2+dp)})을 수립함으로써 이 리그레트 경계가 거의 최적임을 입증한다.
• 알고리즘이 전체 파레토 경계의 지식이 필요로 하지 않으며, 적응적 분할을 통해 경계 근처 영역에 집중함으로써 효과적으로 학습한다.
• 기대 보상 함수가 유사도 공간에 대해 리프시츠 연속적이라는 가정 하에 성능 보장이 유지된다.
• 추정된 파레토 경계 내의 암들이 공정하게 선택되어, 특정 목적으로의 편향을 방지한다.
• 이론적 분석 결과 리그레트는 맥락-암 공간의 전체 차원이 아닌, dp에 의해 캡처된 문제의 본질적 복잡성에 따라 결정됨을 보여준다.