[논문 리뷰] Practical Contextual Bandits with Regression Oracles

Dylan J. Foster, Alekh Agarwal외 3명|arXiv (Cornell University)|2018. 03. 03.

Advanced Bandit Algorithms Research참고 문헌 16인용 수 18

한 줄 요약

이 논문은 가치 함수 예측을 위해 회귀 오ракูล을 활용하는 실용적이고 이론적으로 타당한 문맥적 밴디트 알고리즘을 제안한다. 이 알고리즘은 실현 가능성 기반 방법의 계산 효율성과 무지식 접근 방식의 유연성을 결합한다. 약간의 분포 가정 하에 낮은 불만족도를 달성하며, 다양한 데이터셋에서 실현 가능성 기반 및 무지식 기반 기준보다 뛰어난 성능을 보인다.

ABSTRACT

A major challenge in contextual bandits is to design general-purpose algorithms that are both practically useful and theoretically well-founded. We present a new technique that has the empirical and computational advantages of realizability-based approaches combined with the flexibility of agnostic methods. Our algorithms leverage the availability of a regression oracle for the value-function class, a more realistic and reasonable oracle than the classification oracles over policies typically assumed by agnostic methods. Our approach generalizes both UCB and LinUCB to far more expressive possible model classes and achieves low regret under certain distributional assumptions. In an extensive empirical evaluation, compared to both realizability-based and agnostic baselines, we find that our approach typically gives comparable or superior results.

연구 동기 및 목표

• 계산적으로 효율적이고 이론적으로 타당한 일반 목적의 문맥적 밴디트 알고리즘을 개발하는 것.
• 기존 실현 가능성 기반 방법의 한계를 극복하여, 일반선형 모델과 같은 특정 모델 가족에 국한되지 않는 것.
• 무지식 접근 방식에서 흔히 사용되는 계산적으로 비가능한 분류 오라클에 대한 의존도를 줄이기 위해 더 실용적인 회귀 오라클을 사용하는 것.
• 제한된 분포 가정, 예를 들어 유계 불일치 계수 또는 일반화된 탐색 매개변수 하에 낮은 불만족도를 달성하는 것.
• 실제 데이터셋에서 제안된 방법의 효과성과 이론적 가정의 타당성을 경험적으로 검증하는 것.

제안 방법

• 모든 문맥-행동 쌍에 대한 기대 보상 예측을 위해 회귀 오라클을 사용하여 복잡한 가치 함수를 효율적이고도 민첩하게 모델링할 수 있다.
• 닫힌 형태의 신뢰 구간을 오라클 학습된 추정치로 대체함으로써, UCB와 LinUCB를 임의의 모델 클래스로 일반화한다.
• 비용 감안 활성 학습 기법에서 유래한 알고리즘으로, 탐색-이용 균형을 고려해 문맥적 밴디트에 적응시켰다.
• 불일치 계수 및 일반화된 탐색 매개변수와 같은 분포 계수를 사용해 이론적 보장을 확립하였으며, 이는 이전의 선형 밴디트 개념을 비선형 함수 클래스로 확장한다.
• 사후 샘플링이나 NP-난해한 분류 오라클을 피하고 효율적인 회귀 학습에 의존함으로써 계산 가능성을 유지한다.
• 표준 데이터셋을 사용해 구현 및 평가하였으며, 실현 가능성 기반 및 무지식 기반 기준과의 성능 비교를 수행하였다.

실험 결과

연구 질문

• RQ1 다양한 모델 클래스에서 실용성과 계산 효율성을 유지하면서 낮은 불만족도를 달성할 수 있는 문맥적 밴디트 알고리즘이 존재하는가?
• RQ2 계산 가능성과 경험적 성능 측면에서 기존의 분류 오라클 대비 회귀 오라클 사용의 성능은 어떠한가?
• RQ3 제안된 방법이 낮은 불만족도를 달성하는 데 필요한 분포 가정은 무엇이며, 이 가정들은 선형 모델을 초월해 어떻게 일반화되는가?
• RQ4 복잡하고 비선형적인 보상 구조를 가진 실제 환경에서, 이 방법은 실현 가능성 기반 및 무지식 기반 기준을 모두 능가할 수 있는가?
• RQ5 유계 불일치 계수와 같은 이론적 가정들이 실제 데이터셋에서 경험적으로 타당한가?

주요 결과

• 제안된 알고리즘은 optdigits, page-blocks, pendigits, satimage, vehicle, adult 등 모든 테스트 데이터셋에서 실현 가능성 기반 및 무지식 기반 기준과 비교해 유사하거나 뛰어난 경험적 성능을 달성한다.
• 유계 불일치 계수 및 일반화된 탐색 매개변수와 같은 분포 가정 하에 낮은 불만족도를 달성하며, 이는 이전의 선형 함수 클래스에서 비선형 함수 클래스로의 결과 확장을 가능하게 한다.
• 고차원에서의 희박 선형 밴디트의 경우, 거의 차원에 의존하지 않는 불만족도 경계를 달성하여 고차원 환경에서도 확장 가능함을 시사한다.
• 경험적 평가를 통해 이론적 보장에 필요한 분포 가정이 실제로 타당함을 입증하였으며, 실제로 불일치 계수와 탐색 매개변수가 유계임을 확인하였다.
• 실제 학습 시스템이 정책 학습에 주로 회귀를 사용하므로, 분류 오라클 대비 회귀 오라클이 더 실용적이고 효과적인 가정임을 입증하였다.
• 모델 클래스가 표현력이 풍부한 경우, 예를 들어 회귀 트리나 비선형 예측기와 같은 경우에도 이론적 보장을 유지하면서도 뛰어난 성능을 보였다.