[논문 리뷰] Online learning with Corrupted context: Corrupted Contextual Bandits

Djallel Bouneffouf|arXiv (Cornell University)|2020. 06. 26.

Advanced Bandit Algorithms Research참고 문헌 36인용 수 10

한 줄 요약

이 논문은 온라인 학습에서 오염된 컨텍스트를 처리하기 위해 톰슨 샘플링과 고전적 다중 손잡이 밴딧(MAB) 접근법을 결합한 새로운 컨텍스트 밴딧 알고리즘인 TSCC를 제안한다. 오염되었거나 오염되지 않은 컨텍스트 양쪽에서 학습함으로써 TSCC는 표준 컨텍스트 밴딧 및 MAB 기준보다 분류 오차를 낮추며, 특히 높은 오염률에서 강건성과 향상된 성능을 입증한다. 실제 데이터셋에서의 성능이 뛰어나다.

ABSTRACT

We consider a novel variant of the contextual bandit problem (i.e., the multi-armed bandit with side-information, or context, available to a decision-maker) where the context used at each decision may be corrupted ("useless context"). This new problem is motivated by certain on-line settings including clinical trial and ad recommendation applications. In order to address the corrupted-context setting,we propose to combine the standard contextual bandit approach with a classical multi-armed bandit mechanism. Unlike standard contextual bandit methods, we are able to learn from all iteration, even those with corrupted context, by improving the computing of the expectation for each arm. Promising empirical results are obtained on several real-life datasets.

연구 동기 및 목표

• 온라인 의사결정 시스템에서 신뢰할 수 없거나 오염된 컨텍스트 문제를 해결하기 위해.
• 컨텍스트 기능이 자주 부정확하거나 오도가 되는 상황에서도 효과적으로 작동하는 학습 프레임워크를 개발하기 위해.
• 컨텍스트 밴딧과 고전적 다중 손잡이 밴딧의 강점을 융합하여 실제 응용에서의 강건성을 향상시키기 위해.
• 오염된 컨텍스트 조건 하에서 제안된 알고리즘의 리그레트 한계를 이론적으로 분석하기 위해.
• 실생활 데이터셋을 기반으로 다양한 수준의 컨텍스트 오염에서 방법의 실증적 검증을 수행하기 위해.

제안 방법

• TSCC 알고리즘은 컨텍스트 밴딧을 위한 톰슨 샘플링과 비컨텍스트 MAB 메커니즘을 통합하여, 컨텍스트 품질과 무관하게 액션 보상을 추정한다.
• 알고리즘은 별도의 보상 추정치를 유지한다: 유효한 컨텍스트 기반 추정치와 전역 액션 성능 기반 추정치(컨텍스트 오염에 강건함).
• 알고리즘은 베이지안 사후 분포 샘플링을 사용해 탐색과 이용의 균형을 동적으로 조절하며, 컨텍스트 기반 및 비컨텍스트 기반 보상 추정치를 모두 통합한다.
• 핵심 요소는 관측된 컨텍스트의 신뢰도를 가중치로 사용하는 오염 확률 모델을 도입하여 적응적 학습을 가능하게 한다.
• 하이브리드 결정 정책을 사용하여, 컨텍스트 예측과 전역 밴딧 추정치의 조합에 기반해 액션을 선택한다.
• 이론적 분석을 통해 리그레트의 상한선을 유도하였으며, 알고리즘이 오염된 컨텍스트 조건 하에서도 하위선형 리그레트를 유지함을 보여준다.

실험 결과

연구 질문

• RQ1 결정 수립에 사용되는 컨텍스트가 자주 오염될 경우 온라인 학습 알고리즘이 어떻게 성능을 유지할 수 있는가?
• RQ2 컨텍스트 밴딧과 고전적 다중 손잡이 밴딧을 융합하면 신뢰할 수 없는 컨텍스트 상황에서 강건성이 향상될 수 있는가?
• RQ3 오염되었고 오염되지 않은 컨텍스트 양쪽에서 학습하는 하이브리드 알고리즘의 이론적 리그레트 한계는 무엇인가?
• RQ4 다양한 수준의 컨텍스트 오염 하에서 제안된 방법이 표준 컨텍스트 밴딧 및 MAB 기준보다 어떻게 성능을 냈는가?
• RQ5 어떤 실제 응용 환경에서 하이브리드 접근법이 표준 접근법을 뛰어나게 성능을 내는가?

주요 결과

• 커버타입 데이터셋에서 TSCC는 95% 컨텍스트 오염 조건 하에 63.44 ± 3.75의 오분류 오차를 기록했으며, CMAB(65.54 ± 4.57) 및 MAB(70.54 ± 0.30)보다 유의미하게 뛰어나다.
• CNAE-9 데이터셋에서 75% 오염 조건 하에 TSCC는 CMAB 대비 오차를 11.5% 감소시켰으며, 강력한 강건성을 입증했다.
• 인터넷 광고 데이터셋에서 TSCC는 95% 오염 조건 하에 15.21 ± 1.10의 오차를 기록했으며, CMAB(16.21 ± 2.54) 및 MAB(19.22 ± 0.20)를 모두 앞섰다.
• 50% 오염 조건 하에서 TSCC는 모든 데이터셋에서 가장 낮은 오차를 기록했으며, 컨텍스트 신뢰도가 중간 수준일 때 최적의 성능을 보였다.
• 95% 오염 조건에서 MAB 기준이 가장 우수했으며, 이는 컨텍스트 방법이 컨텍스트가 너무 신뢰할 수 없을 경우 성능이 저하됨을 시사하지만, TSCC는 여전히 열등성을 유지함을 보여준다.
• 실증 결과는 TSCC가 모든 오염 수준과 데이터셋에서 CMAB 및 MAB를 일관되게 뛰어넘는다는 것을 보여주며, 하이브리드 학습 접근법의 가치를 확인한다.