[논문 리뷰] Learning from Logged Implicit Exploration Data

Alex Strehl, John Langford외 2명|arXiv (Cornell University)|2010. 02. 27.

Advanced Bandit Algorithms Research참고 문헌 13인용 수 105

한 줄 요약

이 논문은 로깅 정책의 행동이 알려져 있지 않고 비랜덤인 맥락적 밴디트 설정에서 기록된 암묵적 탐색 데이터로부터 최적의 정책을 학습하는 방법을 제안한다. 회귀를 통해 액션 선택 확률을 추정하고 안정성 임계값을 적용한 중요도 가중치를 적용함으로써, 랜덤화나 탐색 확률의 명시적 기록이 없이도 일致적인 오프라인 정책 학습이 가능해지며, 실제 온라인 광고 데이터에서 단순 지도 학습보다 뛰어난 성능을 달성한다.

ABSTRACT

We provide a sound and consistent foundation for the use of \emph{nonrandom} exploration data in "contextual bandit" or "partially labeled" settings where only the value of a chosen action is learned. The primary challenge in a variety of settings is that the exploration policy, in which "offline" data is logged, is not explicitly known. Prior solutions here require either control of the actions during the learning process, recorded random exploration, or actions chosen obliviously in a repeated manner. The techniques reported here lift these restrictions, allowing the learning of a policy for choosing actions given features from historical data where no randomization occurred or was logged. We empirically verify our solution on two reasonably sized sets of real-world data obtained from Yahoo!.

연구 동기 및 목표

• 로그된 비랜덤 탐색 데이터만 존재할 때 맥락적 밴디트에서의 온도 시작 문제를 해결하기 위해.
• 로그 정책의 액션 확률이 알려져 있거나 결정적으로 선택된 경우에도 역사적 데이터에서 정책 학습을 가능하게 하기 위해.
• 일반화 능력이 열 劣하거나 탐색 데이터가 부족한 이유로 실패하는 지도 학습 및 표준 밴디트 알고리즘의 한계를 극복하기 위해.
• 실제 응용 분야(예: 온라인 광고)에서 오프라인 정책 평가 및 학습을 위한 이론적으로 타당하고 경험적으로 검증된 방법을 제공하기 위해.

제안 방법

• 로그된 데이터에 대한 회귀를 통해 로깅 정책의 액션 선택 확률 $\hat{\pi}(a|x)$ 를 추정하며, 정책이 결정적일 경우에도 가능하게 한다.
• 선택 편향을 보정하고 수치적 안정성을 확보하기 위해 중요도 가중치 $1/\max\{\hat{\pi}(a|x), \tau\}$ 를 갖는 가상의 맥락적 밴디트 이벤트를 구성한다.
• 가중치가 부여된 가상의 데이터셋에 표준 오프라인 맥락적 밴디트 알고리즘을 적용하여 정책 $h(x)$ 를 학습한다.
• 추정된 선택 확률이 양수인 액션에만 argmax 정책을 제한하여 관측되지 않은 액션으로의 외삽을 방지한다.
• 중요도 가중치를 사용하여 액션 간 학습 균형을 맞추며, 관측된 액션 집합 내에서 보상 추정에 대해 동일한 강조를 보장한다.
• 하이퍼파ram터 $\tau$ 를 조정하여 효과적인 가설 공간을 제어하고 일반화를 향상시키며, 작은 $\tau$ 는 더 넓은 정책 탐색을 허용한다.

실험 결과

연구 질문

• RQ1 로그 정책의 액션 확률이 알려져 있지 않고 비랜덤일 때, 기록된 데이터로부터 높은 성능의 정책을 학습할 수 있는가?
• RQ2 명시적인 탐색 확률이 기록되지 않은 경우 오프라인 정책 학습에서 선택 편향을 어떻게 보정할 수 있는가?
• RQ3 추정된 로깅 확률을 사용한 중요도 가중치가 랜덤화 없이도 일관되고 정확한 정책 평가를 가능하게 하는가?
• RQ4 실제 적용에서 $\tau$ 의 선택이 학습된 정책의 성능 및 일반화에 어떤 영향을 미치는가?
• RQ5 이 방법은 희귀하거나 관측되지 않은 액션에서 일반화 능력이 열 劣하여 실패하는 단순 지도 학습 방법보다 뛰어나게 성능을 낼 수 있는가?

주요 결과

• 제안된 방법은 단순 지도 학습 방법보다 뚜렷이 뛰어나며, 관측되지 않은 액션에서 일반화 능력이 열 劣하여 테스트 세트에서 보상이 0이 된 단순 지도 학습 방법과 대비된다.
• τ = 0.05 일 때 학습된 정책은 랜덤 정책보다 높은 추정 정책 가치를 달성하여 성능 추정의 일관된 동적 범위를 보여준다.
• τ 가 0.05 에서 0.01 으로 감소함에 따라 학습된 정책의 성능이 향상되었으며, 이는 더 작은 τ 가 가설 공간을 확장하고 학습을 향상시킨다는 것을 확인한다.
• 테스트 세트에서의 경험적 클릭률 0.0213은 최고의 학습된 정책의 추정값보다 略로 높았으며, 이는 추정기법이 보수적이지만 신뢰할 수 있는 하한선을 제공한다는 것을 시사한다.
• 이 방법은 학습된 정책과 랜덤 정책, 그리고 더 큰/작은 액션 세트에서 학습된 정책 간을 정확히 구별할 수 있으며, 정책 순위 매기기 능력이 검증된다.
• 이론적 분석과 경험적 결과는 이 방법이 로깅 정책이 결정적이고 입력에 따라 달라질 때에도 오프라인 정책 평가에 대해 일관되고 편향 보정된 추정기법을 제공함을 확인한다.