[논문 리뷰] Rao-Blackwellized Stochastic Gradients for Discrete Distributions

Runjing Liu, Jeffrey Regier외 3명|arXiv (Cornell University)|2018. 10. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 25인용 수 5

한 줄 요약

이 논문은 편향을 유도하지 않으면서 이산 분포의 확률적 기울기의 분산을 줄이기 위한 레오-블랙웰라이제이션 기반 메타절차를 제안한다. 특히 분포가 희박한 경우(즉, 소수의 카테고리에 집중된 경우)에 매우 효과적이다. 이 방법은 고확률 카테고리에 대해 해석적으로 합산함으로써 수렴 속도와 최종 성능을 크게 향상시키며, 준지도 학습 분류나 픽셀 주의 메커니즘과 같은 과제에서 REINFORCE, NVIL, RELAX, Gumbel-softmax보다 빠르고 정확하게 성능을 냈다.

ABSTRACT

We wish to compute the gradient of an expectation over a finite or countably infinite sample space having $K \leq \infty$ categories. When $K$ is indeed infinite, or finite but very large, the relevant summation is intractable. Accordingly, various stochastic gradient estimators have been proposed. In this paper, we describe a technique that can be applied to reduce the variance of any such estimator, without changing its bias---in particular, unbiasedness is retained. We show that our technique is an instance of Rao-Blackwellization, and we demonstrate the improvement it yields on a semi-supervised classification problem and a pixel attention task.

연구 동기 및 목표

• 이산의 고차원 또는 무한차원 샘플링 공간에 대한 기대값에 대한 확률적 기울기 추정기의 분산을 편향 없이 줄이는 것.
• 이산 분포에 대한 임의의 비편향 확률적 기울기 추정기에 적용 가능한 일반적인 분산 감소 기법을 개발하는 것, 특히 확률 밀도 함수가 희박한 설정에서의 적용을 위한 것.
• 기하학적 잠재 변수를 포함한 모델에서 기울기 기반 최적화의 실용성을 향상시키는 것, 예를 들어 극단적 분류나 주의 메커니즘과 같이 표준 방법이 높은 분산 문제를 겪는 경우.
• 높은 확률을 가진 카테고리에 대해 해석적으로 합산함으로써 상당한 분산 감소가 이루어지며, 특히 질량이 집중된 카테고리 수가 적을 경우에 특히 효과적이라는 것을 보여주는 것.

제안 방법

• 이 방법은 레오-블랙웰라이제이션을 적용하여 기대값을 두 부분으로 분해한다: 고확률 원자(정확하게 합산)와 나머지 저확률 원자(확률적으로 추정).
• 기존의 비편향 확률적 기울기 추정기(예: REINFORCE 또는 제어변수를 적용한 REINFORCE)와 결합할 수 있는 메타절차를 사용하여 분산을 줄이되, 비편향성을 유지한다.
• 알고리즘은 분포 $ q_{\eta}(z) $ 에서 가장 높은 확률을 가진 상위-K 카테고리를 식별하고, 그 기여도를 정확하게 계산하며, 나머지는 몬테카를로 샘플링을 통해 추정한다.
• 이 방법은 언제든지 적용 가능한 것으로, 계산 자원이 증가할수록 분산 감소 효과가 커진다—자원이 허용하는 한 더 많은 카테고리를 정확하게 합산할 수 있다.
• 이 방법은 통계 이론에 기반하며, 특히 레오-블랙웰라이제이션에 기반하여 전체 분산 법칙에 따라 분산 감소를 보장한다.
• 희박한 설정, 예를 들어 극단적 분류나 주의 메커니즘과 같이 몇몇 카테고리만 유의미하거나 활성화된 경우에 특히 효과적이다.

실험 결과

연구 질문

• RQ1 이산 분포에 대한 확률적 기울기 추정에서 분산을 편향 없이 줄일 수 있는가?
• RQ2 다수의 카테고리가 있는 단변량 이산 랜덤 변수에 레오-블랙웰라이제이션을 적용했을 때의 효과는 어떠한가?
• RQ3 높은 확률을 가진 카테고리에 대해 해석적으로 합산함으로써 실질적인 딥러닝 과제에서 상당한 분산 감소가 이루어지는가?
• RQ4 REINFORCE, NVIL, RELAX, Gumbel-softmax와 같은 기존 기준 모델과 비교했을 때 제안된 방법의 수렴 속도와 최종 성능는 어떠한가?
• RQ5 이 방법은 구조적 또는 다변량 이산 설정(예: 잠재 마르코프 체인 또는 주의 메커니즘)에 효율적으로 적용될 수 있는가?

주요 결과

• 준지도 학습 분류 과제에서, 레오-블랙웰라이제이션된 REINFORCE 추정기는 REINFORCE, NVIL, RELAX보다 더 빠르게 수렴했고, 더 낮은 음의 ELBO를 달성했다.
• 픽셀 주의 과제에서, 이 방법은 약 44초 만에 음의 ELBO 500에 도달했으며, RELAX는 110초가 걸려 더 느린 수렴을 보였다.
• Gumbel-softmax는 스트레이트스러우터 추정기의 높은 편향으로 인해 합리적인 ELBO로 수렴하지 못했지만, 제안된 방법은 안정적이고 정확하게 유지되었다.
• NVIL는 빠르게 수렴했지만 제안된 방법보다 더 나쁜 ELBO에 도달했으며, 이는 더 빠른 수렴이 더 나은 성능을 의미하지는 않는다는 것을 시사한다.
• 모션 MNIST 과제에서, 이 방법은 모든 기준 모델 중에서 가장 낮은 음의 ELBO를 달성하여 최적화 품질이 뛰어나다는 것을 입증했다.
• 에포크당 계산 비용은 다른 방법들(15.4초 대비 8.7–11.1초)보다 높았지만, 수렴 속도 향상과 최종 성능 향상 덕분에 이 오버헤드가 정당화되었다.