[논문 리뷰] Off-Policy Evaluation for Large Action Spaces via Embeddings

Yuta Saito, Thorsten Joachims|arXiv (Cornell University)|2022. 02. 13.

Age of Information Optimization인용 수 5

한 줄 요약

이 논문은 큰 행동 공간을 위한 새로운 이방정 평가 추정기인 Marginalized IPS(MIPS)를 제안한다. 행동 임bedding을 활용하여 편향과 분산을 감소시키며, 행동 임베딩 기반의 마진화된 중요도 가중치를 사용함으로써 기존의 IPS 및 DR 추정기보다 훨씬 낮은 평균 제곱오차를 달성한다. 특히 행동 수가 1,000을 초과할 경우에 두드러진 성능 향상을 보이며, 추천 시스템과 같은 고차원 설정에서 신뢰할 수 있는 정책 평가를 가능하게 한다.

ABSTRACT

Off-policy evaluation (OPE) in contextual bandits has seen rapid adoption in real-world systems, since it enables offline evaluation of new policies using only historic log data. Unfortunately, when the number of actions is large, existing OPE estimators -- most of which are based on inverse propensity score weighting -- degrade severely and can suffer from extreme bias and variance. This foils the use of OPE in many applications from recommender systems to language models. To overcome this issue, we propose a new OPE estimator that leverages marginalized importance weights when action embeddings provide structure in the action space. We characterize the bias, variance, and mean squared error of the proposed estimator and analyze the conditions under which the action embedding provides statistical benefits over conventional estimators. In addition to the theoretical analysis, we find that the empirical performance improvement can be substantial, enabling reliable OPE even when existing estimators collapse due to a large number of actions.

연구 동기 및 목표

• 행동 공간이 클 경우 기존의 오프-정책 평가(OPE) 추정기에서 심각한 편향과 분산 악화 문제가 발생하는 문제를 해결하기 위해.
• 구조화된 행동 임베딩(예: 영화의 장르, 감독 등)을 활용하여 OPE의 통계적 효율성을 향상시키기 위해.
• 기존의 표준 IPS보다 더 약한 조건에서도 비편향성을 유지하는 이론적으로 타당한 추정기를 개발하기 위해.
• 임베딩의 품질과 차원 수가 초래하는 편향-분산 트레이드오프를 규명하기 위해.
• 기존 추정기가 높은 행동 공간의 기수성으로 인해 실패할 수 있는 상황에서도 MIPS가 신뢰할 수 있는 OPE를 가능하게 함을 경험적으로 검증하기 위해.

제안 방법

• 행동 임베딩의 주변 분포를 사용하여 중요도 가중치를 계산하는 Marginalized IPS(MIPS)를 제안한다. 개별 행동이 아닌 행동 임베딩 기반으로 계산된다.
• 새로운 중요도 가중치를 $ w(e) = \frac{\pi(a|x,e)}{\pi_0(a|x,e)} $ 로 정의하며, 여기서 $ e $ 는 행동 $ a $ 의 임베딩이다. 이를 사용해 정책 가치를 추정한다.
• 행동 임베딩이 행동이 보상에 미치는 모든 인과적 영향을 매개하는 조건 하에서 비편향성을 확립한다.
• MIPS의 편향, 분산, 평균 제곱오차(MSE)에 대한 이론적 경계를 유도하며, 고차원 행동 공간에서의 분산 감소를 보여준다.
• 임베딩 가정을 의도적으로 위반하기 위해 덜 관련성이 높은 임베딩 차원을 제거하는 전략을 도입하여 MSE를 최소화한다.
• 실제 및 시뮬레이션된 밴딧 데이터에서 추정기 성능을 비교하기 위해 부트스트랩 기반 평가와 상대 제곱오차(rel-SE)를 활용한다.

실험 결과

연구 질문

• RQ1 어떤 조건에서 행동 임베딩을 사용하면 큰 행동 공간에서 비편향적인 오프-정책 평가가 가능해지는가?
• RQ2 행동 수가 증가함에 따라 MIPS의 분산은 IPS 및 DR 추정기와 비교해 어떻게 변화하는가?
• RQ3 MIPS에서 편향과 분산의 트레이드오프는 어떻게 되며, 임베딩의 품질은 이 트레이드오프에 어떤 영향을 미치는가?
• RQ4 고기수 행동 공간에서 기존의 OPE 추정기보다 MIPS가 더 낮은 평균 제곱오차를 달성할 수 있는가?
• RQ5 불필요한 임베딩 차원을 제거하는 것이 비록 약간의 편향을 유발하더라도 MIPS의 MSE를 향상시키는가?

주요 결과

• 행동 수가 1,000을 초과할 경우, MIPS는 IPS 및 DR 추정기보다 훨씬 낮은 평균 제곱오차를 기록하며, 일부 경우에서 분산 감소가 300배 이상을 기록한다.
• 행동 수가 10에서 5,000으로 증가할 때 IPS의 분산은 300배 이상 증가하지만, MIPS는 행동 임베딩 기반의 마진화 덕분에 낮은 분산을 유지한다.
• 임베딩이 행동과 보상 간의 인과관계를 정확히 반영할 경우, MIPS는 IPS보다 편향을 감소시킨다.
• 불필요한 임베딩 차원을 제거함으로써 분산은 편향보다 더 크게 감소하여 전체 MSE 향상에 기여하며, 이는 제안된 트레이드오프 전략의 타당성을 입증한다.
• 실제 밴딧 데이터에 대한 경험적 결과는 MIPS가 표본 크기에 관계없이 항상 IPS, DR, MRDR를 능가하는 상대 제곱오차를 기록한다.
• 상대 제곱오차의 누적분포함수(CDF) 분석 결과, 행동 임베딩이 유의미할 경우, 조건이 불리한 데이터 조건에서도 MIPS는 부트스트랩 시험의 90%에서 더 우수한 성능을 보였다.