[논문 리뷰] On Exploration, Exploitation and Learning in Adaptive Importance Sampling

Xiaoyu Lu, Tom Rainforth외 3명|arXiv (Cornell University)|2018. 10. 31.

Advanced Bandit Algorithms Research참고 문헌 23인용 수 4

한 줄 요약

이 논문은 밴드잇 유도된 상한 신뢰도 기반으로 탐색과 이용의 균형을 이루는 파artition 기반 적응형 중요도 샘플링 알고리즘인 Daisee를 제안한다. 이는 누적 가짜 손실(regret)을 $\mathcal{O}(\sqrt{T} (\log T)^{3/4})$ 수준으로 달성한다. 또한 복잡한 대상 분포에서 샘플링 효율성과 경험적 성능을 향상시키기 위해 동적 파artitioning을 적응적으로 학습하는 계층적 확장인 HiDaisee를 도입한다.

ABSTRACT

We study adaptive importance sampling (AIS) as an online learning problem and argue for the importance of the trade-off between exploration and exploitation in this adaptation. Borrowing ideas from the bandits literature, we propose Daisee, a partition-based AIS algorithm. We further introduce a notion of regret for AIS and show that Daisee has $\mathcal{O}(\sqrt{T}(\log T)^{\frac{3}{4}})$ cumulative pseudo-regret, where $T$ is the number of iterations. We then extend Daisee to adaptively learn a hierarchical partitioning of the sample space for more efficient sampling and confirm the performance of both algorithms empirically.

연구 동기 및 목표

• 적응형 중요도 샘플링(AIS)을 탐색-이용 균형을 명시적으로 고려한 온라인 학습 문제로 공식화하기 위해.
• 특히 상한 신뢰도(UCB) 원리에 기반한 다중 손실 밴드잇 이론을 응용하여 손실 최소화를 추구하는 AIS 알고리즘을 개발하기 위해.
• 샘플 공간의 계층적 파artitioning을 동적으로 학습함으로써 효율성과 정확도를 향상시키기 위해.
• KL 발산과 $\alpha$-발산 측도 기반으로 제안된 알고리즘의 이론적 손실 한계를 도출하기 위해.
• 고차원성과 비대칭 밀도를 포함한 도전적인 목표 분포에서 Daisee와 HiDaisee의 성능을 경험적으로 검증하기 위해.

제안 방법

• Daisee는 샘플 공간을 $K$개의 상호배타적 부분집합으로 나누고, 이러한 파artition에 대해 제안 분포를 유지한다.
• 예측된 목표 밀도 기반 이용과 신뢰도 구간 기반 탐색을 균형 잡기 위해, 밴드잇 스타일의 불확실성에 대한 낙관주의 전략(optimism-in-the-face-of-uncertainty)을 사용한다.
• 알고리즘은 추정치의 분산에서 유도된 탐색 보너스와 함께 경험적 중요도 가중치의 조합을 사용하여 제안 가중치를 갱신한다.
• 누적 가짜 손실은 제안 분포와 목표 분포 간의 Kullback-Leibler(KL) 발산을 손실 함수로 사용하여 분석된다.
• HiDaisee는 트리의 노드를 재귀적으로 분할함으로써 온라인에서 파artitioning 구조를 학습함으로써 Daisee를 확장한다. 이는 유효 표본 수(Ess)와 정지 기준에 의해 유도된다.
• 트리 구조는 추정치를 트리 상단으로 전파함으로써, 각 샘플링에 대해 $\mathcal{O}(K)$에서 $\mathcal{O}(\log K)$의 비용으로 효율적인 샘플링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 적응형 중요도 샘플링에서 탐색-이용 균형을 온라인 학습 원리에 기반해 공식화하고 최적화할 수 있는가?
• RQ2 KL 발산 손실 기반으로 적응형 중요도 샘플링에 대해 어떤 이론적 손실 한계를 설정할 수 있는가?
• RQ3 계층적 파artitioning은 적응형 중요도 샘플링의 효율성과 정확도를 어떻게 향상시키는가?
• RQ4 사전 지식 없이도 알고리즘이 목표 밀도의 복잡성에 맞게 파artitioning을 동적으로 적응할 수 있는가?
• RQ5 HiDaisee의 수렴 속도와 추정 정확도 측면에서 기존 방법과 비교해 성능은 어떠한가?

주요 결과

• Daisee는 $\mathcal{O}(\sqrt{T} (\log T)^{3/4})$ 수준의 누적 가짜 손실을 달성하여, 반복 횟수가 증가할수록 단위 반복 손실이 점차 감소함을 시사한다.
• 이 손실 한계는 약한 가정 하에 성립하며, $\alpha=2$일 때 중요도 가중치의 분산을 포함한 $\alpha$-발산 측도로도 확장 가능하다.
• 불연속적이고 평탄하지 않은 영역을 포함한 1차원 목표 분포에서 HiDaisee는 초기 수렴 속도가 느리지만, 최종 KL 손실 측면에서 Daisee를 능가한다.
• HiDaisee의 계층적 구조는 자가 최적화되며, 평탄하고 밀도가 낮은 영역에서는 분할을 멈추고, 높은 밀도이자 비균일한 영역에서는 계속 분할한다.
• 2차원 바나나 모양의 목표 분포에서 HiDaisee는 특히 표본 수가 많고 계층적 복잡성이 높을 경우 PI-MAIS보다 더 낮은 제곱오차를 기록하여 마진럴 리크리에이션 추정의 정확도를 높였다.
• HiDaisee의 파artition 수는 추정 정확도와 계산 비용의 균형을 이루며 안정적이고 최적의 구조로 수렴한다.