[논문 리뷰] Estimating Gradients for Discrete Random Variables by Sampling without Replacement

Wouter Kool, Herke van Hoof외 1명|arXiv (Cornell University)|2020. 02. 14.

Reinforcement Learning in Robotics참고 문헌 49인용 수 16

한 줄 요약

이 논문은 표본을 다시 넣지 않고 추출하는 방식을 사용하여 이산 랜덤 변수에 대한 편향 없는 기울기 추정기법을 제안한다. 이는 중복된 표본을 제거함으로써 분산을 감소시킨다. Rao-Blackwellization을 통해 내장된 제어 변수를 유도함으로써, 이 방법은 REINFORCE보다 낮은 분산을 달성하며, 변동성의 정도가 높거나 낮은 설정 모두에서 일관되게 다른 추정기들보다 뛰어난 성능을 보였다. 실험 결과로는 변동성 자동부호화기(Variational Autoencoders)와 구조적 예측 작업에서 성능이 뛰어났다.

ABSTRACT

We derive an unbiased estimator for expectations over discrete random variables based on sampling without replacement, which reduces variance as it avoids duplicate samples. We show that our estimator can be derived as the Rao-Blackwellization of three different estimators. Combining our estimator with REINFORCE, we obtain a policy gradient estimator and we reduce its variance using a built-in control variate which is obtained without additional model evaluations. The resulting estimator is closely related to other gradient estimators. Experiments with a toy problem, a categorical Variational Auto-Encoder and a structured prediction problem show that our estimator is the only estimator that is consistently among the best estimators in both high and low entropy settings.

연구 동기 및 목표

• 강화학습 및 잠재변수 모델에서 사용되는 이산 랜덤 변수의 기울기 추정에서 분산을 줄이기 위해.
• 표본을 다시 넣지 않고 추출함으로써 중복된 표본을 피하는 편향 없는 기울기 추정기법을 개발하기 위해.
• 추가 모델 평가 없이도 분산을 줄일 수 있는 제어 변수를 도출하기 위해.
• 다양한 설정, 특히 고엔트로피 및 저엔트로피 분포에서 성능을 평가하기 위해.
• 이산 VAE 및 구조적 예측 작업에서 기존 추정기들보다 일관되게 뛰어난 성능을 보여주기 위해.

제안 방법

• 이산 분포에서 다시 넣지 않고 추출한 표본들의 순서 없는 집합을 기반으로 편향 없는 기울기 추정기법을 유도한다.
• Rao-Blackwellization을 사용하여 세 가지 다른 기본 추정기에서 추정기법을 도출함으로써 분산 감소를 보장한다.
• 동일한 표본들로부터 유도된 내장된 제어 변수를 도입함으로써, 추가적인 모델 평가 없이도 편향을 유지하면서 분산을 줄인다.
• REINFORCE 프레임워크 내에서 추정기법을 적용하여 낮은 분산을 가진 정책 기울기 추정기법을 생성한다.
• 표본을 다시 넣지 않는 조건에서 확률을 계산하기 위해 제한된 분포 모델을 사용하며, 제거된 요소들을 고려하여 조정한다.
• 합성 및 실제 응용 벤치마크를 모두 사용하여 방법을 검증하였으며, 이는 범주형 VAE와 TSP 솔버를 포함한다.

실험 결과

연구 질문

• RQ1 표본을 다시 넣지 않고 추출하는 방식이, 다시 넣는 방식과 비교해 이산 분포의 기울기 추정에서 분산을 줄일 수 있는가?
• RQ2 순서 없는, 다시 넣지 않는 표본들의 집합을 사용하여 편향 없는 기울기 추정기법을 구성할 수 있는가?
• RQ3 제안된 추정기법이 REINFORCE, Gumbel-Softmax, ARSM과 같은 기존 방법들보다 고엔트로피 및 저엔트로피 영역 모두에서 뛰어난 성능을 보일 수 있는가?
• RQ4 추가적인 모델 평가 없이도 내장된 제어 변수를 도출할 수 있으며, 이로 인해 편향이 유지되는가?
• RQ5 이산 VAE 및 구조적 예측과 같은 실질적 응용에서 이 추정기법은 어떤 성능을 보이는가?

주요 결과

• 제안된 추정기법은 평가된 모든 작업에서 고엔트로피 및 저엔트로피 설정 모두에서 최상의 성능을 일관되게 기록하였다.
• 범주형 VAE 실험에서, 이 추정기법은 재귀적 표본 추출 방식의 REINFORCE와 ARSM을 모두 앞서는 최저의 검증 -ELBO를 달성하였다.
• TSP 벤치마크에서, 이 추정기법은 REINFORCE와 비교해 더 빠른 수렴과 더 낮은 기대 투어 길이를 달성하였다.
• 제안된 추정기법의 기울기 로그 분산은 특히 고엔트로피 설정에서 REINFORCE와 비교해 유의미하게 낮았다.
• 내장된 제어 변수는 추가적인 모델 평가 없이도 분산을 줄였으며, 편향을 유지하였다.
• 큰 잠재공간과 같은 도전적인 설정에서도 발산 없이 안정적인 학습을 달성하였으며, 표준 REINFORCE와 비교해 뛰어난 성능을 보였다.