[논문 리뷰] Leveraging Good Representations in Linear Contextual Bandits

Matteo Papini, Andrea Tirinzoni외 3명|arXiv (Cornell University)|2021. 04. 08.

Advanced Bandit Algorithms Research참고 문헌 35인용 수 8

한 줄 요약

이 논문은 선형 연속적 밴디트에서 M개의 후보 표현 중에서 가장 좋은 것을 적응적으로 선택하는 새로운 알고리즘인 LEADER를 소개한다. '좋은' 표현이 집합에 존재할 경우, 문제에 의존하는 상수 수준의 손실을 달성한다. 또한 초기 후보 중 어떤 것도 최적일 수 없을 경우, 표현 조합을 통해 암묵적으로 '좋은' 표현을 구성할 수 있음을 보여주며, 최적 표현에 대한 사전 지식 없이도 상수 수준의 손실을 달성할 수 있다.

ABSTRACT

The linear contextual bandit literature is mostly focused on the design of efficient learning algorithms for a given representation. However, a contextual bandit problem may admit multiple linear representations, each one with different characteristics that directly impact the regret of the learning algorithm. In particular, recent works showed that there exist "good" representations for which constant problem-dependent regret can be achieved. In this paper, we first provide a systematic analysis of the different definitions of "good" representations proposed in the literature. We then propose a novel selection algorithm able to adapt to the best representation in a set of $M$ candidates. We show that the regret is indeed never worse than the regret obtained by running LinUCB on the best representation (up to a $\ln M$ factor). As a result, our algorithm achieves constant regret whenever a "good" representation is available in the set. Furthermore, we show that the algorithm may still achieve constant regret by implicitly constructing a "good" representation, even when none of the initial representations is "good". Finally, we empirically validate our theoretical findings in a number of standard contextual bandit problems.

연구 동기 및 목표

• 선형 연속적 밴디트에서 상수 수준의 문제에 의존하는 손실을 가능하게 하는 '좋은' 표현의 정의를 체계적으로 분석하고 비교하는 것.
• M개의 후보 표현 중에서 최적의 표현을 사전 지식 없이 적응적으로 선택하는 표현 선택 알고리즘을 설계하여, 최악의 경우 최고의 개별 표현보다 log M 요소 이내로 손실이 증가하지 않도록 보장하는 것.
• 단일 후보 표현이 최적일 수 없을 경우, 조합을 통해 암묵적으로 '좋은' 표현을 구성할 수 있음을 보여주며, 이로 인해 상수 수준의 손실을 달성할 수 있음을 보여주는 것.
• 기본 표준 연속적 밴디트 문제에서 이론적 결과를 실증적으로 검증하는 것.

제안 방법

• 각각 다른 후보 표현에 대해 훈련된 M개의 기본 LinUCB 알고리즘 중에서 선택하는 마스터 알고리즘인 LEADER를 제안한다.
• 표현 간 신뢰 구간의 가중 조합을 사용하며, 성능이 높은 표현을 우선시하기 위해 지수 가중 방식으로 가중치를 갱신한다.
• 선택된 표현 집합 중 최고의 표현에 대해 손실를 유한하게 제한하는 새로운 분석 프레임워크를 도입하며, 표현 선택에 따른 log M 요소를 포함한다.
• 다양한 후보들로부터 특징을 조합하여 새로운 암묵적인 '좋은' 표현을 구성하는 표현 조합 메커니즘을 도입한다.
• 행렬 농도 및 고유값 분석을 활용하여, 복합 표현이 상수 수준의 손실을 유지하기 위해 유리한 기하학적 성질을 유지함을 보여준다.
• 손실 분석에서 역 공분산 행렬을 제한하기 위해 캔토로비치 유형 부등식을 활용하여 표현 변화에 대한 안정성을 보장한다.

실험 결과

연구 질문

• RQ1 선형 연속적 밴디트에서 상수 수준의 문제에 의존하는 손실을 가능하게 하는 표현 조건은 무엇인가?
• RQ2 최적의 표현이 무엇인지 사전 지식 없이 M개의 후보 표현 중에서 최적의 표현을 적응적으로 선택할 수 있는 알고리즘은 어떻게 설계할 수 있는가?
• RQ3 단일 후보 표현이 최적일 수 없을 경우, 조합을 통해 암묵적으로 '좋은' 표현을 구성할 수 있는가?
• RQ4 여러 개의 후보 표현이 존재할 경우, 표현 선택 알고리즘의 손실에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ5 제안된 알고리즘의 성능은 표준 연속적 밴디트 문제에서 기본 LinUCB와 비교해 실제로 어떻게 되는가?

주요 결과

• LEADER의 손실는 집합 내 최고의 개별 표현의 손실에 대해 log M 요소 이내로 제한되며, 성능 저하 없이 보장된다.
• 집합 내에 '좋은' 표현이 존재할 경우, LEADER는 수평선 n과 무관하게 상수 수준의 문제에 의존하는 손실을 달성한다.
• LEADER는 특징 조합을 통해 암묵적으로 '좋은' 표현을 형성할 수 있으며, 이로 인해 단일 후보 표현이 최적일 수 없을 경우에도 상수 수준의 손실을 달성할 수 있다.
• 알고리즘의 손실 한계는 최고의 표현에 비해 O(log M) 비례하여 증가하며, 표현 집합 크기에 대한 강건성을 보여준다.
• 표준 연속적 밴디트 문제에서의 실증 결과는 LEADER가 최고의 개별 표현에 대해 LinUCB와 동일하거나 이를 초월하는 성능을 보임을 확인한다.
• 이론적 분석은 알고리즘의 안정성과 성능이 고유값 한계를 통한 역 공분산 행렬 제어를 통해 유지됨을 보여준다.