[논문 리뷰] Clustered Bandits

Loc Bui, Ramesh Johari외 1명|arXiv (Cornell University)|2012. 06. 19.

Advanced Bandit Algorithms Research참고 문헌 9인용 수 6

한 줄 요약

이 논문은 사용자가 몇몇 잠재 유형 중 하나에 속해 있으며, 각 유형이 액션(팔레트)에 대해 고유한 반응을 보이는 전자상거래 응용 프로그램을 위한 군집화된 밴딧 프레임워크를 제안한다. 탐색-이윤 균형과 사용자 군집화를 결합함으로써, 저자들은 표준 밴딧보다 의사결정 효율성을 향상시키는 알고리즘을 설계하였으며, 사용자 유형이 식별 가능하고 희박한 경우에 회귀 감소에서 뚜렷한 성과 향상을 보였다.

ABSTRACT

We consider a multi-armed bandit setting that is inspired by real-world applications in e-commerce. In our setting, there are a few types of users, each with a specific response to the different arms. When a user enters the system, his type is unknown to the decision maker. The decision maker can either treat each user separately ignoring the previously observed users, or can attempt to take advantage of knowing that only few types exist and cluster the users according to their response to the arms. We devise algorithms that combine the usual exploration-exploitation tradeoff with clustering of users and demonstrate the value of clustering. In the process of developing algorithms for the clustered setting, we propose and analyze simple algorithms for the setup where a decision maker knows that a user belongs to one of few types, but does not know which one.

연구 동기 및 목표

• 사용자 유형이 알려져 있지 않지만 유한한 수임을 전제로 전자상거래에서 의사결정의 개인화 문제를 해결하기 위해.
• 사용자 군집화를 활용하여 표준 밴딧 방법보다 회귀 성능을 향상시키는 알고리즘을 개발하기 위해.
• 잠재 유형에 기반한 탐색(유형 학습)과 이윤 극대화(각 유형에 최적의 팔 선택) 간의 균형을 군집화된 환경에서 모델링하기 위해.
• 결정자가 사용자가 몇몇 유형 중 하나에 속해 있음을 안다면, 그러나 어떤 유형인지 모른다는 부분적인 유형 지식 상황에서의 성능 분석을 위해.

제안 방법

• 사용자가 팔에 대한 반응 패턴에 따라 군집화되는 계층적 밴딧 프레임워크를 제안한다.
• 관측된 피드백을 바탕으로 군집 내 팔 보상 탐색과 군집 할당 개선을 번갈아 수행하는 알고리즘을 설계한다.
• 군집 간 및 군집 내에서의 학습을 균형 잡는 군집 인식 탐색 전략을 도입한다.
• 관측된 반응을 바탕으로 사용자 유형 확률을 추정하고, 혼합 모델 접근 방식을 사용해 사용자를 군집에 할당한다.
• 유형 불확실성 상황에서 회귀를 줄이기 위해 군집별 신뢰 구간을 적용한 UCB 스타일 알고리즘을 활용한다.
• 유형 수가 적다는 가정 하에 이론적 회귀 경계를 분석하여, 표준 밴딧보다 더 빠른 수렴 성능을 입증한다.

실험 결과

연구 질문

• RQ1 알 수 없는 사용자 유형이 있는 다중 팔 밴딧 문제에서 사용자 군집화는 어떻게 회귀 성능을 향상시키는가?
• RQ2 군집화된 밴딧 환경에서 새로운 팔 탐색과 군집 할당 개선 간 최적의 균형은 무엇인가?
• RQ3 사용자 유형에 대한 부분적 지식(즉, 사용자가 몇몇 유형 중 하나에 속해 있음을 안다)은 학습 효율성에 어떻게 影향을 미치는가?
• RQ4 개별 사용자를 별도로 다루는 것보다 군집화가 탐색 행동의 수를 줄일 수 있는가?
• RQ5 유한한 사용자 유형을 가진 군집화된 밴딧 모델에서 이론적 회귀 경계는 어떤 수준에 도달할 수 있는가?

주요 결과

• 사용자 유형이 희박하고 식별 가능할 경우, 제안된 군집화된 밴딧 알고리즘이 표준 밴딧 방법보다 낮은 회귀를 달성한다.
• 공통된 반응 패턴을 공유하는 동일 유형의 사용자 간의 특성을 활용함으로써 군집화가 최적의 행동으로의 수렴 속도를 높인다.
• 군집 수준의 탐색과 유형 인식 팔 선택을 조합한 알고리즘이 부분적 유형 지식 하에서 성능 향상을 보였다.
• 이론적 분석을 통해 회귀가 시간에 대해 비선형적으로 증가하며, 개별 사용자 수가 아닌 군집 수에 의존함을 확인하였다.
• 실증 결과는 군집화가 높은 사용자 다양성과 적은 기저 유형을 가진 환경에서 특히 비최적 행동의 수를 줄임을 보여주었다.