[논문 리뷰] A Bit Better? Quantifying Information for Bandit Learning

Adithya M. Devraj, Benjamin Van Roy외 1명|arXiv (Cornell University)|2021. 02. 18.

Advanced Bandit Algorithms Research참고 문헌 23인용 수 4

한 줄 요약

이 논문은 다중 손잡이 밴딧 문제에서 정보지향 샘플링( IDS )의 성능을 향상시키기 위해 샤논 엔트로피 대신 타슬리스 엔트로피를 사용할 경우 성능 향상이 이루어지는지 조사한다. 타슬리스 엔트로피를 사용할 경우 이론적으로 더 낫지 않은 후회 경계를 확보하고 있음에도 불구하고, 저자들은 계산 실험을 통해 샤논 엔트로피를 사용하는 IDS가 타슬리스-IDS와 유사한 실현 성능을 보임을 발견하여 분석적 이점이 실질적 성과로 이어지지 않을 수 있음을 시사한다. 또한, 샤논 엔트로피를 사용하는 톰슨 샘플링에 대해 순서 최적의 후회 경계를 확보할 수 있는 수정된 분석 틀을 제안한다.

ABSTRACT

The information ratio offers an approach to assessing the efficacy with which an agent balances between exploration and exploitation. Originally, this was defined to be the ratio between squared expected regret and the mutual information between the environment and action-observation pair, which represents a measure of information gain. Recent work has inspired consideration of alternative information measures, particularly for use in analysis of bandit learning algorithms to arrive at tighter regret bounds. We investigate whether quantification of information via such alternatives can improve the realized performance of information-directed sampling, which aims to minimize the information ratio.

연구 동기 및 목표

• 타슬리스 엔트로피 기반의 정보 측정 방식이 샤논 엔트로피에 비해 정보지향 샘플링( IDS )의 실현 성능을 향상시키는지 평가하는 것.
• 이론적으로 타슬리스 엔트로피를 사용할 경우 더 낫지 않은 후회 경계가 실질적인 성능 향상으로 이어지는지 여부를 조사하는 것.
• 톰슨 샘플링에 대해 샤논 엔트로피를 사용할 경우 순서 최적의 후회 경계를 확보할 수 있도록 수정된 분석 프레임워크를 개발하는 것.
• 다양한 밴딧 환경에서 다양한 정보 측정 방식에 따른 정보 비율의 실증적 행동을 평가하는 것.

제안 방법

• 저자들은 샤논 엔트로피를 사용하는 IDS 버전과 타슬리스 엔트로피를 사용하는 IDS 버전을 비교한다.
• 행동 선택을 안내하기 위해 정보 비율을 계산한다. 정보 비율은 제곱된 기대 후회를 각각의 정보 측정 방식(샤논 또는 타슬리스 엔트로피)으로 나누어 계산한다.
• 합성 밴딧 문제를 대상으로 한 계산 실험을 통해 두 정보 측정 방식을 사용한 IDS의 성능을 평가한다. 실험에는 반례와 베타-베르누이 밴딧이 포함된다.
• 정보 비율의 시간에 따른 역학을 추정하기 위해 샘플 경로를 기반으로 한 정보 비율의 경험적 평균을 사용한다.
• 기존의 정보 비율 프레임워크로는 이룰 수 없었던, 샤논 엔트로피를 사용하는 톰슨 샘플링에 대해 순서 최적의 후회 경계를 도출할 수 있도록 수정된 분석 틀을 제안한다.
• 알고리즘 구현에서 연속 적분을 근사하기 위해 이산화 기법을 사용하여 정보 비율의 수치적 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 밴딧 문제에서 샤논 엔트로피 대신 타슬리스 엔트로피를 사용할 경우 정보지향 샘플링의 실증적 성능이 향상되는가?
• RQ2 이론적으로 타슬리스-IDS에 대해 더 낫지 않은 후회 경계가 실질적으로 실현 가능한가, 아니면 현재 분석 기법의 산물인가?
• RQ3 수정된 분석 프레임워크를 통해 샤논 엔트로피를 사용하는 톰슨 샘플링에 대해 순서 최적의 후회 경계를 확보할 수 있는가?
• RQ4 다양한 정보 측정 방식과 밴딧 환경에서 정보 비율의 역학은 시간이 지남에 따라 어떻게 변화하는가?

주요 결과

• 타슬리스-IDS는 이론적으로 더 낫지 않은 후회 경계를 보이지만, 다양한 밴딧 환경에서 샤논 엔트로피를 사용하는 IDS의 실현 성능은 타슬리스-IDS와 유사하다.
• 샤논 기반 및 타슬리스 기반 IDS의 정보 비율은 시간이 지남에 따라 안정화되고, 특히 고차원 설정(K=40)에서 매우 빠르게 수렴한다.
• 저자들은 수정된 분석 틀을 통해 샤논 엔트로피를 사용하는 톰슨 샘플링에 대해 순서 최적의 후회 경계를 확보할 수 있음을 입증한다. 이는 기존 정보 비율 프레임워크로는 달성할 수 없었던 성과이다.
• 베타-베르누이 밴딧 설정에서는 최악의 경우 경계가 더 큰 반면, 샤논 엔트로피의 스케일링된 정보 비율은 타슬리스 엔트로피보다 항상 낮게 유지된다.
• 정보 비율의 역학은 최적의 액션을 식별한 후, 특히 수렴 단계에서 0 근처에서 진동하는 경향을 보이며, 이는 후회와 정보 획득이 모두 극히 미미하다는 것을 시사한다.