[논문 리뷰] Preference-based Online Learning with Dueling Bandits: A Survey

Viktor Bengs, Róbert Busa‐Fekete외 2명|Open access LMU (Ludwid Maxmilian's Universitat Munchen)|2018. 07. 30.

Advanced Bandit Algorithms Research참고 문헌 152인용 수 24

한 줄 요약

이 종합 검토는 수상형 보상이 아닌 상호 비교를 통해 학습하는 선호 기반 온라인 학습을 다루는 듀얼링 밴디트(dueling bandits)에 대한 포괄적인 개요를 제공한다. 알고리즘은 수치적 보상이 아닌 쌍별 비교에서 학습한다. 선호 구조에 대한 가정에 따라 방법을 분류하고, 표본 복잡도와 리그레트 한계를 분석하며, 적응성, 랭킹 모델, 하이브리드 피드백 설정과 같은 열린 과제를 규명한다.

ABSTRACT

In machine learning, the notion of multi-armed bandits refers to a class of online learning problems, in which an agent is supposed to simultaneously explore and exploit a given set of choice alternatives in the course of a sequential decision process. In the standard setting, the agent learns from stochastic feedback in the form of real-valued rewards. In many applications, however, numerical reward signals are not readily available -- instead, only weaker information is provided, in particular relative preferences in the form of qualitative comparisons between pairs of alternatives. This observation has motivated the study of variants of the multi-armed bandit problem, in which more general representations are used both for the type of feedback to learn from and the target of prediction. The aim of this paper is to provide a survey of the state of the art in this field, referred to as preference-based multi-armed bandits or dueling bandits. To this end, we provide an overview of problems that have been considered in the literature as well as methods for tackling them. Our taxonomy is mainly based on the assumptions made by these methods about the data-generating process and, related to this, the properties of the preference-based feedback.

연구 동기 및 목표

• 표준 다중 손잡이 밴디트가 수치적 보상을 필요로 하여 실제 응용에서 자주 이용이 불가능한 점을 해결한다.
• 피드백이 쌍별 비교 형태인 선호 기반 다중 손잡이 밴디트(PB-MAB) 분야의 최신 기술을 검토한다.
• 기본적인 선호 생성 과정과 피드백 성질에 대한 가정에 따라 기존 PB-MAB 방법을 분류한다.
• 스토하스틱 PB-MAB 설정에서 누적 리그레트와 표본 복잡도와 같은 이론적 성능 지표를 분석한다.
• 적응성, 전체 랭킹 학습, 하이브리드 피드백(쌍별 + 수치적 보상)과 같은 열린 연구 질문을 규명한다.

제안 방법

• 스토하스틱 전이성, 강력한 스토하스틱 전이성, 또는 콘도르세 승자 존재 여부 등의 선호 구조에 대한 가정에 따라 PB-MAB 방법을 분류한다.
• 상위-k 선택, 랭킹, 쌍별 피드백 하에서의 선호 기반 탐색-이용 균형을 고려한 알고리즘을 검토한다.
• 누적 리그레트와 표본 복잡도를 사용한 이론적 성능 분석을 수행하며, 특히 정적 선호 분포를 가진 스토하스틱 설정에서 집중한다.
• 랭킹에 대한 파라미터 모델인 말로우스 모델과 플래켓-루스 분포를 고려하고, 학습 효율성에 미치는 영향을 분석한다.
• 학습자가 관찰할 쌍별 비교를 스스로 선택할 수 있는 적응성의 역할을 조사한다.
• Xu 등(2020)의 연구에서처럼 듀얼링 피드백과 실수값 보상 피드백을 결합한 하이브리드 설정을 탐구하여 수치적 피드백 의존도를 줄인다.

실험 결과

연구 질문

• RQ1 학습자가 관찰할 쌍별 비교를 능동적으로 선택할 수 있는 능력이 선호 기반 밴디트에서 학습 성능을 얼마나 향상시킬 수 있는가?
• RQ2 완전하거나 부분적인 선호 데이터가 제공될 때, 다양한 파라미터 모델(예: 말로우스, 플래켓-루스) 하에서 최적의 랭킹 학습에 필요한 표본 복잡도는 얼마인가?
• RQ3 약한 스토하스틱 전이성과 같은 최소한의 가정 하에서도 선호 기반 밴디트 알고리즘이 낮은 누적 리그레트를 달성할 수 있는가?
• RQ4 선호가 노이즈가 있거나 일관성이 없을 때 기존 방법은 콘도르세 승자나 케멘티 공통 랭킹을 어떻게 식별하는가?
• RQ5 하이브리드 밴디트 설정에서 듀얼링 피드백과 실수값 보상 피드백을 결합할 경우 이론적 및 실용적 이점은 무엇인가?

주요 결과

• 말로우스 모델 하에서 최적의 학습 표본 복잡도는 특성화되었으며, 버사-페케테 등(2019)에 의해 표본 최적 알고리즘이 확립되었다.
• 플래켓-루스 또는 로그-선형 모델과 같은 일반적인 파라미터 랭킹 모델의 경우 현재 알려진 표본 최적 학습 알고리즘이 존재하지 않는다.
• 쌍별 불일치 수를 최소화하는 케멘티 공통 랭킹은 NP-난이도로 계산되지만, 상수 요인 근사와 PTAS가 존재한다.
• 적응형 표본 추출(학습자가 비교할 쌍을 선택함)은 학습 효율성을 향상시킬 수 있지만, 그 이론적 영향은 아직 대부분 탐색되지 않았다.
• 듀얼링 피드백과 실수값 보상 피드백을 모두 허용하는 하이브리드 밴디트 설정은 Xu 등(2020)의 연구에서 보듯이 필요한 풀링 수와 듀얼 수를 줄일 수 있다.
• growing 관심에도 불구하고 PB-MAB 알고리즘을 위한 종합적인 코드 레포지토리가 아직 존재하지 않으며, duelpy는 최근 파이썬 구현을 제공하기 위한 최근의 시도이다.