[논문 리뷰] Adapting to Misspecification in Contextual Bandits with Offline Regression Oracles

Sanath Kumar Krishnamurthy, Vitor Hadad외 1명|arXiv (Cornell University)|2021. 02. 26.

Advanced Bandit Algorithms Research참고 문헌 16인용 수 4

한 줄 요약

이 논문은 모델 잘못 설정 시 높은 잘못 설정 오차가 감지되면 안전 정책으로 되돌아가도록 적응하는 컨텍스트 밴디트 알고리즘을 제안한다. 복잡한 오라클이나 메스터 알고리즘을 필요로 하지 않고 오직 오프라인 회귀 오라클만을 사용하며, 잘못 설정 수준이 증가함에 따라 점진적으로 악화되는 손실 보장을 달성한다.

ABSTRACT

Computationally efficient contextual bandits are often based on estimating a predictive model of rewards given contexts and arms using past data. However, when the reward model is not well-specified, the bandit algorithm may incur unexpected regret, so recent work has focused on algorithms that are robust to misspecification. We propose a simple family of contextual bandit algorithms that adapt to misspecification error by reverting to a good safe policy when there is evidence that misspecification is causing a regret increase. Our algorithm requires only an offline regression oracle to ensure regret guarantees that gracefully degrade in terms of a measure of the average misspecification level. Compared to prior work, we attain similar regret guarantees, but we do no rely on a master algorithm, and do not require more robust oracles like online or constrained regression oracles (e.g., Foster et al. (2020a); Krishnamurthy et al. (2020)). This allows us to design algorithms for more general function approximation classes.

연구 동기 및 목표

• 선형 또는 파rametric 모델에서 보상 모델이 잘못 설정될 경우 성능 저하 문제를 다루는 것.
• FALCON+와 LinUCB와 같은 실현 가능성 기반 알고리즘이 잘못 설정 시에 불안정한 행동과 증가하는 손실을 보일 수 있는 한계를 극복하는 것.
• 진짜 보상 함수가 가정된 함수 클래스에 포함되지 않더라도 강력한 손실 보장을 유지하는 계산 효율성이 높은 알고리즘을 설계하는 것.
• 온라인, 제약 조건이 있는, 또는 강건한 회귀 오라클과 같은 전용 오라클에 의존하는 것을 제거하고, 오직 표준 오프라인 회귀 오라클만을 사용하는 것.
• 알고리즘이 오라클의 강건성에 대한 가정에 연결되지 않도록 하여 일반 함수 근사 클래스로의 광범위한 적용 가능성을 확보하는 것.

제안 방법

• 오프라인 회귀 오라클의 예측 품질을 모니터링하여 잘못 설정 오차가 증가하는지 감지하는 컨텍스트 밴디트 알고리즘의 가족을 도입한다.
• 모델의 예측 오차가 임계값을 초과하면, 잘못된 추정치를 이용한 이용을 방지하기 위해 안전 정책(예: 균일 정책 또는 행동 정책)으로 되돌리는 것.
• 신뢰도 기반 메커니즘을 사용해 탐색과 이용을 동적으로 조정하며, 보상 예측에 오직 오프라인 회귀 오라클에 의존한다.
• 진짜 보상 함수가 모델 클래스에서 얼마나 떨어져 있는지를 수량화하는 평균 잘못 설정 오차 측도를 정의하며, 이는 직접적으로 손실 경계에 영향을 준다.
• 잘못 설정이 증가함에 따라 손실 보장이 부드럽게 악화되도록 보장하며, 진짜 보상 함수가 선형이 아니더라도 성능을 유지한다.
• 메스터 알고리즘이나 복잡한 최적화 레이어를 피하고, 표준 회귀 오라클에 기반한 단순하고 모듈화된 설계를 사용한다.

실험 결과

연구 질문

• RQ1 가정된 보상 모델이 잘못 설정될 경우 컨텍스트 밴디트 알고리즘이 어떻게 성능을 유지할 수 있는가?
• RQ2 강건하거나 제약 조건이 있는 회귀 오라클이나 메스터 알고리즘 없이도 손실 보장을 유지할 수 있는가?
• RQ3 모델 잘못 설정이 FALCON+와 같은 기존 실현 가능성 기반 알고리즘의 수렴성과 안정성에 어떤 영향을 미치는가?
• RQ4 예측 오차 증가에 대한 증거에 기반해 안전 정책을 어떻게 동적으로 트리거할 수 있는가?
• RQ5 오직 오프라인 회귀 오라클만을 사용하는 단순하고 모듈화된 설계가 일반 함수 클래스에서 잘못 설정에 대해 강건성을 달성할 수 있는가?

주요 결과

• 제안된 Safe-FALCON 알고리즘은 FALCON+에서 관찰된 진동하는 손실 행동을 효과적으로 완화하여 시간이 지남에 따라 성능을 안정화시킨다.
• 알고리즘은 평균 잘못 설정 오차가 증가함에 따라 점진적으로 악화되는 손실 경계를 달성하며, 진짜 보상 함수가 선형인 경우가 아니더라도 강건성을 확보한다.
• 잘못 설정이 감지되면 안전 정책으로 되돌림으로써, 실현 가능성 기반 방법에서 흔히 발생하는 데이터 왜곡과 불안정성을 피한다.
• 이 방법은 추가 오라클이 필요 없이 표준 오프라인 회귀 오라클만을 사용하므로 계산 효율성이 유지되며, 이는 이전의 강건한 접근 방식과 다릅니다.
• 실험 결과는 모델 드리프트가 발생하는 후반기 동안 FALCON+에서 관찰된 높은 손실 피크와 진동을 피하는 것으로 나타났다.
• 손실 경계는 잘못 설정 수준의 제곱근 비례로 증가하므로, 모델 정확도와 성능 저하 사이의 명확한 트레이드오프를 제공한다.