[논문 리뷰] The Concrete Distribution: A Continuous Relaxation of Discrete Random Variables

Chris J. Maddison, Andriy Mnih외 1명|arXiv (Cornell University)|2016. 11. 02.

Geotechnical Engineering and Analysis인용 수 1,036

한 줄 요약

본 논문은 닫힌 형태의 밀도와 재매개화를 갖춘 단순체 위의 이산 변수에 대한 연속 이완인 Concrete 확률변수를 제시하여, 이산 노드를 가지는 확률적 계산 그래프의 저분산 그래디언트 기반 최적화를 가능하게 합니다.

ABSTRACT

The reparameterization trick enables optimizing large scale stochastic computation graphs via gradient descent. The essence of the trick is to refactor each stochastic node into a differentiable function of its parameters and a random variable with fixed distribution. After refactoring, the gradients of the loss propagated by the chain rule through the graph are low variance unbiased estimators of the gradients of the expected loss. While many continuous random variables have such reparameterizations, discrete random variables lack useful reparameterizations due to the discontinuous nature of discrete states. In this work we introduce Concrete random variables---continuous relaxations of discrete random variables. The Concrete distribution is a new family of distributions with closed form densities and a simple reparameterization. Whenever a discrete stochastic node of a computation graph can be refactored into a one-hot bit representation that is treated continuously, Concrete stochastic nodes can be used with automatic differentiation to produce low-variance biased gradients of objectives (including objectives that depend on the log-probability of latent stochastic nodes) on the corresponding discrete graph. We demonstrate the effectiveness of Concrete relaxations on density estimation and structured prediction tasks using neural networks.

연구 동기 및 목표

• 이산 노드를 가진 확률적 계산 그래프에 대한 그래디언트 기반 최적화를 동인으로 삼습니다.
• 단순체 위의 이산 변수에 대한 연속 이완(Concrete 분포)을 도입합니다.
• Concrete 이완이 재매개화를 통한 편향된 저분산 그래디언트를 제공함을 보입니다.
• 신경망을 이용한 밀도 추정 및 구조화된 예측 작업에서의 효과를 보여줍니다.

제안 방법

• Concrete 분포를 알파와 온도 λ를 매개로 하는 단순체 위의 원-핫 이산 변수에 대한 연속 이완으로 정의합니다.
• 단순체에서의 닫힌 형식의 밀도 p_α,λ를 유도하고 Gumbel 섭 perturbation을 통한 재매개화를 확립합니다.
• 훈련 중 이산 노드를 Concrete 노드로 대체하고 로그-확률 항을 이에 맞춰 이완하는 방법을 설명합니다.
• MNIST 및 Omniglot 작업에서 Concrete 이완을 점수-함수 추정기(VIMCO/NVIL)와 비교합니다.
• 온도 선택과 이 이완의 이산성 및 적분 간격에 미치는 영향을 논의합니다.

실험 결과

연구 질문

• RQ1 이산 변수의 연속 이완이 이산 노드를 가진 확률 그래프의 그래디언트 기반 최적화를 가능하게 할 수 있는가?
• RQ2 Concrete 분포가 이산 잠재 변수를 갖는 신경망 훈련에 대해 닫힌 형식의 밀도와 재매개화를 제공하는가?
• RQ3 Concrete 이완은 밀도 추정 및 구조화된 예측에서 최첨단 추정기들과 비교해 어떤 성능을 보이는가?
• RQ4 온도 λ의 변화가 이산성 및 모델 성능에 어떤 실증적 영향을 미치는가?

주요 결과

• Concrete 이완은 확률적 계산 그래프에서 이산 확률적 노드에 대해 저분산 그래디언트를 제공합니다.
• Concrete 분포는 닫힌 형식의 밀도와 Gumbel 섭 perturbations 및 softmax를 이용한 직관적인 재매개화를 가집니다.
• 실험적으로 Concrete 이완은 MNIST 및 Omniglot 밀도 추정에서 VIMCO/NVIL과 경쟁력 있게 성능을 보이며, 구조화된 예측 시나리오에서 종종 우수한 성능을 보입니다.
• 온도는 이산성을 제어합니다: 낮은 온도는 이산적 행동으로 더 가까워지게 하고, 높은 온도는 내부 해를 유지하여 적분 간격에 영향을 미칩니다.
• Concrete 분포의 이산적 0-온도 한계는 원래의 이산 분포에 대응하며, 테스트 시 이산 그래프에서 평가가 가능합니다.