[논문 리뷰] Improved Gradient-Based Optimization Over Discrete Distributions

Evgeny Andriyash, Arash Vahdat외 1명|arXiv (Cornell University)|2018. 09. 29.

Machine Learning and Algorithms참고 문헌 26인용 수 6

한 줄 요약

이 논문은 이산 분포에 대한 최적화를 위한 개선된 기울기 추정기들을 제안하며, 개선된 군델-소프트맥스와 조각별 선형 근사와 같은 덜 편향된 연속적 근사 방법을 도입한다. 감소된 편향이 변분 추론과 조합 최적화에서 더 빠른 수렴과 향상된 성능을 이끌어내며, 표준 군델-소프트맥스 및 기타 추정기들보다 실험적으로 뛰어난 성능을 보임을 보여준다.

ABSTRACT

In many applications we seek to maximize an expectation with respect to a distribution over discrete variables. Estimating gradients of such objectives with respect to the distribution parameters is a challenging problem. We analyze existing solutions including finite-difference (FD) estimators and continuous relaxation (CR) estimators in terms of bias and variance. We show that the commonly used Gumbel-Softmax estimator is biased and propose a simple method to reduce it. We also derive a simpler piece-wise linear continuous relaxation that also possesses reduced bias. We demonstrate empirically that reduced bias leads to a better performance in variational inference and on binary optimization tasks.

연구 동기 및 목표

• 이산 분포에서 기울기 추정의 과제를 다루며, 누적분포함수(CDF)가 불연속적이기 때문에 표준 재파rameterization가 실패하는 이유를 설명한다.
• 광범위하게 사용되지만 알려진 바와 같이 편향이 있는 Gumbel-Softmax와 같은 연속적 근사 추정기의 편향을 줄인다.
• 유한차분 추정기의 계산 비용을 줄이면서도 낮은 분산을 유지함으로써 효율성과 성능을 향상시킨다.
• 기존 RELAX보다 더 낮은 복잡도와 더 나은 최적화 성능을 가진 새로운 RELAX+ 추정기를 개발한다.
• 낮은 편향의 기울기 추정기가 변분 추론과 이산 최적화 작업에서 더 빠른 수렴과 더 나은 해를 얻는다는 것을 실험적으로 입증한다.

제안 방법

• 이론적 재구성 함수를 수정하여 이진 및 다항 변수에 대해 덜 편향된 Gumbel-Softmax 추정기의 버전을 유도한다.
• 기존 Gumbel-Softmax보다 편향을 줄이는 이진 및 다항 변수를 위한 조각별 선형 연속적 근사 방법을 제안한다.
• 분산을 효율성과의 교환으로 바꾸어 계산 비용을 줄인 개선된 RAM 유한차분 추정기의 버전을 도입한다.
• REBAR와 ICR(개선된 연속적 근사) 추정기 간의 관계를 수립하며, REBAR가 ICR의 한 형태로 해석될 수 있음을 보여준다.
• 기존 RELAX보다 더 낮은 계산 복잡도와 향상된 최적화 성능을 가진 RELAX+의 변형을 개발한다.
• 제어 변수와 기울기 재가중 기법을 사용하여, 특히 RELAX+ 프레임워크 내에서 점수 함수 추정기의 분산을 추가로 줄인다.

실험 결과

연구 질문

• RQ1 Gumbel-Softmax 추정기의 편향이 이산 변분 추론과 조합 최적화 작업에서 최적화 성능에 어떤 영향을 미치는가?
• RQ2 계산 효율성을 유지하면서도 편향을 줄일 수 있는 조각별 선형 연속적 근사를 설계할 수 있는가?
• RQ3 유한차분 추정기에서 편향과 분산 간의 상호 교환 관계는 무엇이며, 이를 성능 향상에 최적화할 수 있는가?
• RQ4 개선된 연속적 근사 추정기들이 점수 함수 추정기와 유한차분 추정기보다 수렴 속도와 해의 질 측면에서 어떻게 비교되는가?
• RQ5 기울기 추정기의 편향을 줄임으로써 실세계 과제인 VAE 훈련과 최대 클리크 탐지에서 더 안정적이고 정확한 최적화 결과를 얻을 수 있는가?

주요 결과

• 일반적으로 사용되는 Gumbel-Softmax 추정기는 편향이 있으며, 이 편향은 변분 오토인코더와 이산 최적화 작업 모두에서 최적의 수렴을 이룰 수 없게 만든다.
• 제안된 개선된 Gumbel-Softmax와 조각별 선형 근사는 편향을 크게 줄여 VAE 훈련에서 더 빠른 수렴과 더 나은 최종 성능을 이끌어낸다.
• MNIST 데이터셋에서 개선된 연속적 근사(ICR) 추정기는 표준 Gumbel-Softmax를 능가하며, RELAX+는 비편향 RAM 추정기와 유사한 성능을 달성한다.
• 1000개 노드로 구성된 그래프에서 최대 클리크 탐지 작업에서 ICR 추정기는 Gumbel-Softmax의 편향으로 인한 열악한 국소 최솟값을 피할 수 있으며, 특히 하이퍼파rameter κ의 값이 낮을 때 두드러진다.
• 기존 RELAX보다 낮은 분산과 더 나은 최적화 성능을 보이며 계산 비용도 감소시킨 RELAX+ 추정기가 성능을 높였다.
• 실험 결과에 따르면, 기울기 추정기의 편향 감소는 비선형 모델과 고차원 이산 문제에서 더 안정적인 최적화를 이끌어낸다.