[논문 리뷰] Adaptive Sensor Placement for Continuous Spaces

James A. Grant, Alexis Boukouvalas외 4명|arXiv (Cornell University)|2019. 05. 16.

Advanced Bandit Algorithms Research인용 수 8

한 줄 요약

이 논문은 비모수 베이지안 히스토GRAM을 사용하여 이질적 포아송 과정의 강도를 추론하고, 연속 구간에서 적응형 센서 배치를 위한 톰슨 샘플링 기반 알고리즘을 제안한다. 이는 $×(T^{2/3})$의 베이지안 리그레트 경계를 달성하며, 유의미하게 낮고 변동성이 적은 리그레트를 보이며 UCB 및 $¥$-그리디 방법보다 우수한 성능을 보인다.

ABSTRACT

We consider the problem of adaptively placing sensors along an interval to detect stochastically-generated events. We present a new formulation of the problem as a continuum-armed bandit problem with feedback in the form of partial observations of realisations of an inhomogeneous Poisson process. We design a solution method by combining Thompson sampling with nonparametric inference via increasingly granular Bayesian histograms and derive an $ ilde{O}(T^{2/3})$ bound on the Bayesian regret in $T$ rounds. This is coupled with the design of an efficent optimisation approach to select actions in polynomial time. In simulations we demonstrate our approach to have substantially lower and less variable regret than competitor algorithms.

연구 동기 및 목표

• 포아송 과정 피드백을 갖는 연속 구간에서의 순차적 센서 배치를 연속 액션을 가진 밴디트 문제로 모델링한다.
• 중요한 꼬리가 있는 점 과정 피드백을 갖는 연속 공간에서의 이벤트 강도 함수 학습 문제를 다룬다.
• 탐색과 이용을 균형 잡고 베이지안 리그레트를 최소화하는 효율적인 알고리즘을 설계한다.
• 알려진 강도 함수 하에서 센서 배치를 위한 확장 가능한 최적화 절차를 개발한다.
• 사전 분포 선택과 무관한 이론적 리그레트 경계를 제공한다.

제안 방법

• 이질적 포아송 과정으로부터 부분 관측을 얻는 연속 액션을 가진 밴디트 문제로 센서 배치를 수립한다.
• 연속 행동 공간에서의 비모수적 추론을 위해 점점 더 세밀해지는 베이지안 히스토GRAM을 사용한다.
• 각 바의 강도 후보를 기반으로 후행 분포 샘플을 사용해 행동을 선택하기 위해 톰슨 샘플링을 적용한다.
• 메쉬가 시간이 지남에 따라 정교해지는 점진적 이산화 전략을 활용한다.
• 샘플된 강도 함수에 대해 최적의 센서 배치를 계산하기 위한 효율적인 최적화 절차를 통합한다.
• Russo & Van Roy (2014)의 기법을 사용하여 $\tilde{O}(T^{2/3})$의 베이지안 리그레트 경계를 유도한다.

실험 결과

연구 질문

• RQ1 비모수적 베이지안 히스토GRAM을 사용한 톰슨 샘플링는 포아송 피드백이 있는 연속 센서 배치에서 탐색과 이용을 효과적으로 균형 잡을 수 있는가?
• RQ2 이러한 정책의 이론적 리그레트 성능은 $T$에 대해 어떻게 되는가?
• RQ3 재빈닝 비율의 선택은 후행 추론 정확도와 리그레트에 어떤 영향을 미치는가?
• RQ4 제안된 방법은 리그레트와 분산 측면에서 UCB 및 $\epsilon$-그리디 기준선과 비교해 경험적으로 어떻게 성능을 내는가?
• RQ5 알고리즘이 다항 시간 내에 계산 효율성을 유지하면서도 낮은 리그레트를 달성할 수 있는가?

주요 결과

• 모든 시뮬레이션 시나리오에서 UCB, $\epsilon$-그리디, 수정된-UCB 정책보다 톰슨 샘플링 접근법이 일관되게 낮은 리그레트를 기록했다.
• UCB 정책은 특히 저활동 영역에서 강도를 과대평가하여 높은 리그레트를 보였으며, 900회 반복 이후에도 개선되지 않았다.
• $\epsilon$-그리디 방법은 탐색 부족으로 인해 리그레트 분산이 더 높았으며, 局부 최적해에서 벗어나기 위해 랜덤화에 크게 의존했다.
• 후행 분산 분석을 통해 톰슨 샘플링가 높은 강도 영역에 관측을 집중시키면서도 탐색되지 않은 영역에서는 불확실성을 유지함으로써 효율적으로 작동함을 확인했다.
• 큐브 루트 재빈닝 비율이 가장 정확한 후행 추론과 가장 낮은 리그레트를 달성했으며, 선형 및 제곱근 비율보다 뛰어났다.
• 이론적 리그레트 경계 $\tilde{O}(T^{2/3})$는 더 단순한 CAB 모델의 $\Omega(T^{2/3})$ 하한과 가깝기 때문에 강력한 이론적 성능을 나타낸다.