[논문 리뷰] Knowledge Gradient for Selection with Covariates: Consistency and Computation

Liang Ding, L. Jeff Hong외 2명|arXiv (Cornell University)|2019. 06. 12.

Advanced Bandit Algorithms Research참고 문헌 30인용 수 5

한 줄 요약

이 논문은 코Variates에 따라 최적의 대안이 달라지는 순위 매기기 및 선택 문제에 대해 통합 지식 기울기(IKG) 정책을 제안한다. 이 정책은 샘플링 예산이 증가함에 따라 진짜 최적의 대안을 거의 확실히 식별함을 보여주는 이론적 일致성을 확립하며, 이질적 분산 노이즈와 다양한 샘플링 비용 상황에서도 효율적인 계산을 위한 확률적 경사 상승 알고리즘을 도입한다.

ABSTRACT

Knowledge gradient is a design principle for developing Bayesian sequential sampling policies to solve optimization problems. In this paper we consider the ranking and selection problem in the presence of covariates, where the best alternative is not universal but depends on the covariates. In this context, we prove that under minimal assumptions, the sampling policy based on knowledge gradient is consistent, in the sense that following the policy the best alternative as a function of the covariates will be identified almost surely as the number of samples grows. We also propose a stochastic gradient ascent algorithm for computing the sampling policy and demonstrate its performance via numerical experiments.

연구 동기 및 목표

• 샘플링이 비용이 많이 들고 노이즈가 많은 상황에서 성능이 코Variates에 따라 달라지는 최적화 문제에서 최적의 대안을 선택하는 데 도전하는 것.
• 샘플링 노이즈의 이질성과 비균일한 샘플링 비용을 다룰 수 있도록 지식 기울기 원리를 확장하는 것. 이는 시뮬레이션 및 실세계 적용에서 흔한 문제이다.
• 이론적으로 IKG 정책의 일치성을 확립하는 것: 샘플링 예산이 증가함에 따라, 어떤 코Variate 값에 대해서든 정책은 거의 확실히 진짜 최적의 대안을 식별한다.
• 각 반복에서 중첩 최적화 문제를 해결하지 않아도 되는 계산적으로 효율적인 변형인 준-IKG(quasi-IKG)를 개발하여 고차원 코Variates에 대한 확장성을 확보하는 것.
• 크리깅을 사용한 추정 절차와 함께 수치 실험을 통해 샘플링 분산에 대한 불확실성 하에서 방법의 강건성을 입증하는 것.

제안 방법

• 샘플링 노이즈 분산과 위치별로 다를 수 있는 샘플링 비용을 모두 고려하여, 비용 조정된 기대 정보 수확량을 최대화하는 통합 지식 기울기(IKG) 정책을 제안한다.
• 대안 성능의 사후 평균과 분산을 기반으로 한 IKG 기준을 정의하며, 이는 샘플링 비용과 노이즈 분산에 의해 조정된다. 이를 통해 순차적 샘플링 결정을 유도한다.
• 계산 비용이 매우 높은 표본 평균 근사(SAA) 방법을 대체하기 위해, IKG 최적화 문제의 해를 근사하기 위한 확률적 경사 상승(SGA) 알고리즘을 도입한다.
• 코Variate 공간 전역에서의 샘플링 분산 표면을 추정하기 위해 일반 크리깅을 사용하며, 이는 알려진 또는 추정된 매개변수를 가진 가우시안 프로세스로 간주된다.
• 내부적으로 코Variates에 대한 최대화를 생략하기 위해, 고정된 샘플링된 코Variates 집합을 사용하여 기대 개선도를 근사하는 준-IKG 변형을 구현한다.
• 진짜 분산이 알려져 있지 않은 경우, 샘플링 분산 추정을 위해 최대우도추정(MLE)을 적용한다.

실험 결과

연구 질문

• RQ1 샘플링 예산이 무한대에 가까워질 때, IKG 정책은 코Variates에 따라 진짜 최적의 대안을 거의 확실히 식별할 수 있는가?
• RQ2 기존 방법과 비교해 볼 때, 이질적 샘플링 노이즈와 비균일한 샘플링 비용 상황에서 IKG 정책은 어떻게 성능을 발휘하는가?
• RQ3 중첩 최적화 문제를 해결하지 않고도, 확률적 경사 상승(SGA) 알고리즘이 IKG 정책을 효과적이고 효율적으로 근사할 수 있는가?
• RQ4 샘플링 분산 표면 추정 오차에 대해 IKG 정책의 성능은 얼마나 민감한가?
• RQ5 특히 고차원 코Variates 공간에서 IKG 정책의 계산 확장성은 어떠한가?

주요 결과

• IKG 정책은 이론적으로 일치성이 있다: 샘플링 예산이 증가함에 따라, 주어진 코Variate 값에 대해 선택된 대안은 거의 확실히 진짜 최적의 대안로 수렴한다.
• 샘플링 비용이 증가함에 따라 SGA 기반 IKG 방법은 표본 평균 근사(SAA) 방법보다 훨씬 더 우수한 확장성을 보이며, 계산 시간이 훨씬 더 느리게 증가한다.
• 준-IKG 변형은 전체 IKG와 유사한 성능을 달성하면서도 비용이 많이 드는 내부 최적화를 피하므로 고차원 문제에 대해 실용적이다.
• 크리깅을 사용해 샘플링 분산을 추정하는 데 미미한 영향을 미치며, 실세계 환경에서 추정 오차에 대한 강건성을 시사한다.
• 수치 실험 결과, IKG 정책의 기회비용은 낮은 수준을 유지하며, 추정된 샘플링 분산이 있더라도 거의 최적 수준으로 수렴함을 보였다.
• SGA 기반 IKG의 계산 비용은 차원 수에 대해 이차함수보다 느리게 증가하며, SAA 방법에 비해 계산 시간 증가 폭이 훨씬 낮다.