[논문 리뷰] Simple Regret Minimization for Contextual Bandits

Aniket Anand Deshmukh, Srinagesh Sharma외 3명|arXiv (Cornell University)|2018. 10. 17.

Advanced Bandit Algorithms Research참고 문헌 35인용 수 14

한 줄 요약

이 논문은 단순 회귀(minimization of simple regret)를 위한 새로운 알고리즘인 Contextual-Gap를 소개한다. 이 알고리즘은 피드백이 없는 순수 탐색 단계 이후에 순수 이용 단계로 이어지는 컨텍스추얼 밴딧 환경에서 작동한다. 방법은 신뢰구간과 컨텍스트 기반 UCB 스타일의 선택을 사용하여 이용 단계에서의 회귀를 최소화하며, 합성 및 실제 우주선 센서 선택 작업에서 누적 회귀를 최소화하는 기존 기준 대비 뚜렷한 성능 향상을 달성한다.

ABSTRACT

There are two variants of the classical multi-armed bandit (MAB) problem that have received considerable attention from machine learning researchers in recent years: contextual bandits and simple regret minimization. Contextual bandits are a sub-class of MABs where, at every time step, the learner has access to side information that is predictive of the best arm. Simple regret minimization assumes that the learner only incurs regret after a pure exploration phase. In this work, we study simple regret minimization for contextual bandits. Motivated by applications where the learner has separate training and autonomous modes, we assume that the learner experiences a pure exploration phase, where feedback is received after every action but no regret is incurred, followed by a pure exploitation phase in which regret is incurred but there is no feedback. We present the Contextual-Gap algorithm and establish performance guarantees on the simple regret, i.e., the regret during the pure exploitation phase. Our experiments examine a novel application to adaptive sensor selection for magnetic field estimation in interplanetary spacecraft, and demonstrate considerable improvement over algorithms designed to minimize the cumulative regret.

연구 동기 및 목표

• 실제 적용 환경에서 누적 회귀가 아닌 단순 회귀에 초점을 맞춘 기존 컨텍스추얼 밴딧 알고리즘의 격차를 해소하기 위해.
• 피드백이 이용 단계 동안 제공되지 않는, 별도의 학습(탐색) 및 자율적 이용 단계를 갖는 시스템을 위한 실용적인 알고리즘을 개발하기 위해.
• 고정 예산 프레임워크에서 컨텍스추얼 밴딧의 단순 회귀에 대한 이론적 성능 한계를 설정하기 위해.
• 새로운 응용 분야인 행성 간 우주선을 위한 적응형 자석계 선택에 대해 알고리즘을 검증하기 위해.

제안 방법

• Contextual-Gap 알고리즘은 컨텍스추얼 밴딧에 맞게 조정된 상한 신뢰구간(UCB)을 사용하며, 각 암의 신뢰구간은 이전 보상과 컨텍스트를 기반으로 업데이트된다.
• 각 암의 보상 함수를 추정하기 위해 커널 기반 회귀 모델을 사용하며, 신뢰구간 너비는 커널 행렬의 역행렬과 정규화 항에 의해 유도된다.
• 탐색 단계 동안은 가장 높은 상한 신뢰구간을 가진 암을 선택하여 잠재적으로 최적의 암들이 충분히 샘플링되도록 보장한다.
• 탐색이 끝난 후에는 추가 피드백 없이도 보상 추정치가 가장 높은 암을 선택하여 이용한다.
• 이론적 분석은 자기수반 연산자에 대한 프리드먼 부등식과 단조적 신뢰구간 너비 제어를 사용하여 단순 회귀 보장을 도출한다.
• 커널 행렬과 그 역행렬에 대한 랭크-일치 업데이트를 통해 온라인 업데이트를 지원하며, 중간 크기의 데이터셋에 대한 확장성 확보.

실험 결과

연구 질문

• RQ1 탐색과 이용 단계가 명확히 분리된 환경에서, 누적 회귀가 아닌 단순 회귀를 최소화하도록 설계된 컨텍스추얼 밴딧 알고리즘이 가능할 수 있는가?
• RQ2 고정 예산 프레임워크에서 컨텍스추얼 밴딧 설정의 단순 회귀에 대해 어떤 이론적 성능 보장을 확보할 수 있는가?
• RQ3 실제 응용 분야인 우주선 센서 선택에서, 누적 회귀 최소화 기준 대비 제안된 Contextual-Gap 알고리즘의 성능은 어떻게 비교되는가?
• RQ4 커널화된 함수 추정과 함께 컨텍스트 기반 UCB를 사용할 경우, 균일한 샘플링이나 에프실론-그리디 전략보다 더 나은 이용 성능을 달성할 수 있는가?

주요 결과

• Contextual-Gap는 우주선 자석계 데이터셋에서 균일한 샘플링, 에프실론-그리디, Kernel-UCB, Kernel-UCB-Mod, Kernel-TS 등 다섯 가지 기준 대비 평균 단순 회귀 측면에서 뚜렷한 성능 향상을 보였다.
• 알파(α) 값이 0.1, 0.5, 2일 때에도 일관된 성능 유지를 보였으며, 모든 평가에서 α=1에서 최적화된 하이퍼파rameter를 사용하였다.
• 최악의 경우 단순 회귀 분석 결과, Contextual-Gap는 모든 이용 시간 단계에서 최대 회귀가 더 낮게 나타나, 강건성을 확인하였다.
• 과거 관측치를 1개 대신 25개로 늘인 실험에서도 성능 저하가 미미하여, 안정성과 확장성의 가능성을 시사하였다.
• 이론적 분석을 통해 Contextual-Gap의 단순 회귀가 유계임을 증명하였으며, 핵심 레마는 프리드먼 부등식과 단조적 신뢰구간 너비 제어에 기반한다.
• 비i.i.d. 실세계 데이터셋에서 최첨단 성능을 달성하여, 피드백이 배포 시에 제공되지 않는 자율 시스템에서의 실용성과 타당성을 입증하였다.