[논문 리뷰] A Contextual Bandit Approach for Stream-Based Active Learning

Linqi Song, Jie Xu|arXiv (Cornell University)|2017. 01. 24.

Machine Learning and Algorithms참고 문헌 8인용 수 4

한 줄 요약

이 논문은 보상 획득 비용이 높은 환경에서도 순차적 결정 문제에서의 쿼리 비용을 줄이기 위해 이전 보상 정보를 annotator에게 전송하는 능력을 갖춘 컨텍스트 밴딧 알고리즘을 제안한다. 시간이 지남에 따라 적응적으로 컨텍스트 공간과 액션 공간을 분할하고, 필요할 때만 지식 기반 진실을 쿼리함으로써, 전통적인 컨텍스트 밴딧과 동일한 리그레트 성능을 달성한다. 이는 보상 획득 비용이 높은 환경에서조차 순서 최적의 학습 효율성을 보여주며, 주어진 활성 학습 오버헤드에도 불구하고 성능을 유지한다.

ABSTRACT

Contextual bandit algorithms -- a class of multi-armed bandit algorithms that exploit the contextual information -- have been shown to be effective in solving sequential decision making problems under uncertainty. A common assumption adopted in the literature is that the realized (ground truth) reward by taking the selected action is observed by the learner at no cost, which, however, is not realistic in many practical scenarios. When observing the ground truth reward is costly, a key challenge for the learner is how to judiciously acquire the ground truth by assessing the benefits and costs in order to balance learning efficiency and learning cost. From the information theoretic perspective, a perhaps even more interesting question is how much efficiency might be lost due to this cost. In this paper, we design a novel contextual bandit-based learning algorithm and endow it with the active learning capability. The key feature of our algorithm is that in addition to sending a query to an annotator for the ground truth, prior information about the ground truth learned by the learner is sent together, thereby reducing the query cost. We prove that by carefully choosing the algorithm parameters, the learning regret of the proposed algorithm achieves the same order as that of conventional contextual bandit algorithms in cost-free scenarios, implying that, surprisingly, cost due to acquiring the ground truth does not increase the learning regret in the long-run. Our analysis shows that prior information about the ground truth plays a critical role in improving the system performance in scenarios where active learning is necessary.

연구 동기 및 목표

• 순차적 결정 문제에서 지식 기반 진실 보상을 획득하는 데 드는 높은 비용 문제를 해결하기 위해.
• 쿼리 비용을 줄이기 위해 활성 학습과 기존 정보 공유를 통합한 컨텍스트 밴딧 프레임워크를 설계하기 위해.
• 제안된 방법의 학습 리그레트가 비용이 들지 않는 설정에서 전통적인 컨텍스트 밴딧의 순서 크기와 일치함을 증명하기 위해.
• 큰 컨텍스트 공간과 액션 공간에서 탐색과 이용의 균형을 유지하면서 활성 학습 비용을 최소화하기 위해.

제안 방법

• 알고리즘은 시간을 에포크 단위로 나누고, 컨텍스트 공간과 액션 공간을 적응적으로 클러스터로 분할하여 시간이 지남에 따라 더 세밀해지도록 한다.
• 각 에포크 내에서 알고리즘은 액션 클러스터를 탐색하여 컨텍스트 클러스터에 대한 보상 추정치를 구하고, 열등한 클러스터를 제거한다.
• 제어 함수를 사용하여 액션 클러스터를 최적, 근접 최적, 열등으로 분류하고, 탐색과 이용을 이끌어낸다.
• 필요한 경우에만 annotator에게 쿼리를 보내며, 이전 보상 추정치를 포함시켜 annotator의 작업 부담과 쿼리 비용을 줄인다.
• 알고리즘은 신뢰구간 기반의 통계적 경계와 정지 기준을 사용하여 언제 쿼리를 중단할지를 결정한다.
• 커버링 차원 이론을 활용하여 컨텍스트 및 액션 클러스터의 수를 제한함으로써 확장성 확보.

실험 결과

연구 질문

• RQ1 기존 정보를 활용한 활성 학습이 리그레트를 증가시키지 않으면서도 컨텍스트 밴딧 환경에서 쿼리 비용을 줄일 수 있는가?
• RQ2 비용이 드는 지식 기반 진실을 활성적으로 획득하는 컨텍스트 밴딧 알고리즘의 이론적 리그레트 순서는 무엇인가?
• RQ3 보상 분포에 대한 사전 정보가 순차적 결정 문제에서 활성 학습의 효율성에 어떤 영향을 미치는가?
• RQ4 비용이 드는 지식 기반 진실 획득 조건에서도 제안된 알고리즘이 순서 최적의 리그레트를 유지할 수 있는가?
• RQ5 컨텍스트 및 액션 공간의 적응적 분할이 학습 효율성과 비용에 어떤 영향을 미치는가?

주요 결과

• 제안된 CB-AL 알고리즘은 O(T^(dX + dK + 1)/(dX + dK + 2))의 리그레트를 달성하며, 이는 비용이 들지 않는 설정에서 전통적인 컨텍스트 밴딧의 최적 리그레트 순서와 일치한다.
• 정규 및 비정상 사건 조건 하에서 리그레트 경계가 유도되었으며, 쿼리 비용은 젠센의 부등식과 급수 수렴 분석을 통해 유계로 제한되었다.
• 쿼리 비용 c가 0.1에서 1로 증가할 때, T = 10,000일 때 평균 수익이 15% 감소하고, T = 20,000일 때는 8% 감소하여 비용에 민감하지만 리그레트 순서에는 영향을 주지 않는 것으로 나타났다.
• 실험 종료 시점에서 표준 컨텍스트 밴딧보다 16% 높은 수익을 기록했으며, 기존 정보 없이 사용하는 CB-AL보다는 13% 높은 성능를 보였다.
• 리그레트의 하한은 Ω(T^(dX + dK + 1)/(dX + dK + 2))로 유도되었으며, 이는 알고리즘이 순서 최적임을 확인한다.
• 기존 정보의 사용은 ρX,i와 ρK,i를 포함하는 쿼리 비용 항이 커버링 차원에 비례하여 증가함에 따라 쿼리 비용을 크게 줄임을 보여주며, 이는 효율성 향상에 기여한다.