[논문 리뷰] Gradient Estimation with Stochastic Softmax Tricks

Max B. Paulus, Dami Choi외 3명|arXiv (Cornell University)|2020. 06. 15.

Generative Adversarial Networks and Image Synthesis참고 문헌 77인용 수 24

한 줄 요약

이 논문은 조합적 이산 분포의 구조적 리라크스레이션을 위한 통합 프레임워크인 스토하스틱 소프트맥스 기법(SSTs)을 소개한다. 이는 구조적 리라크스레이션을 일반화한 것으로, 기존의 굼벨-소프트맥스 기법을 확장한다. 강력한 볼록 정규화자와 편향 모델에서의 무작위 선형 목표함수를 조합함으로써, SSTs는 서브셋 선택, 스패닝 트리, 아보레센스와 같은 복잡한 조합 공간에서 저분산, 미분 가능한 기울기 추정을 가능하게 하여 NRI 및 L2X와 같은 모델에서 잠재 구조의 개선된 발견과 성능 향상을 이룬다.

ABSTRACT

The Gumbel-Max trick is the basis of many relaxed gradient estimators. These estimators are easy to implement and low variance, but the goal of scaling them comprehensively to large combinatorial distributions is still outstanding. Working within the perturbation model framework, we introduce stochastic softmax tricks, which generalize the Gumbel-Softmax trick to combinatorial spaces. Our framework is a unified perspective on existing relaxed estimators for perturbation models, and it contains many novel relaxations. We design structured relaxations for subset selection, spanning trees, arborescences, and others. When compared to less structured baselines, we find that stochastic softmax tricks can be used to train latent variable models that perform better and discover more latent structure.

연구 동기 및 목표

• 딥러닝에서 큰 조합 상태 공간에 대한 이산 분포에 대해 확장 가능하고 저분산 기울기 추정을 해결하기 위한 도전 과제를 다루는 것.
• 기존의 리라크스 기울기 추정기(예: 굼벨-소프트맥스)를 하나의 프레임워크 안에서 통합하여 구조적 조합 분포에 적용 가능한 것.
• 편향 모델을 사용하여 서브셋, 스패닝 트리, 아보레센스와 같은 조합 객체에 대한 새로운 구조적 리라크스레이션을 설계하는 것.
• 더 나은 잠재 구조 발견을 통해 잠재변수 모델의 성능과 해석 가능성 향상시키는 것.
• 기존의 온화한 벡터를 넘어서 더 풍부한 조합 집합으로 굼벨-맥스 기법을 확장하는 일반적이고 미분 가능한 프레임워크 제공하기

제안 방법

• 이 방법은 기존의 굼벨-소프트맥스를 일반화하기 위해 무작위 선형 목표함수와 강력한 볼록 정규화자를 조합하여 연속적이고 미분 가능한 해를 도출하는 스토하스틱 소프트맥스 기법(SSTs)을 도입한다.
• SSTs는 유한 집합 𝒳 위에서의 이산 분포가 U라는 무작위 유틸리티 함수 최적화를 통해 유도되는 편향 모델 프레임워크 내에 구축된다.
• 리라크스는 𝒳의 볼록 결합 내에서 이산 argmax 해를 연속적으로 근사화하는 볼록 최적화 문제를 해결함으로써 달성된다.
• 이 프레임워크는 전체 one-hot 인코딩이 아닌 구조적 표현(예: 스패닝 트리의 이진 간선 지표)을 지원하여 확장성 향상.
• 연속적 리라크스를 통해 역전파를 통한 재파라미터라이제이션 기울기 추정이 가능해져 조합 잠재변수를 포함한 모델의 엔드 투 엔드 훈련이 가능해진다.
• 정규화자가 굼벨 분포의 음의 로짓일 경우, 이 방법은 굼벨-소프트맥스를 특수한 경우로 포함한다.

실험 결과

연구 질문

• RQ1 스패닝 트리 및 서브셋 선택과 같은 구조적 조합 분포로 굼벨-소프트맥스 기법을 일반화할 수 있는가?
• RQ2 다양한 조합 공간에 대해 리라크스 기울기 추정을 위한 통합 프레임워크를 어떻게 설계할 수 있는가?
• RQ3 구조적 리라크스레이션을 사용할 경우, 비구조적 기준 대비 변분 모델에서 잠재 구조의 더 나은 발견이 이루어지는가?
• RQ4 SSTs는 신경 관계 추론(NRI) 및 L2X와 같은 모델에서 성능 향상과 해석 가능성 향상에 기여하는가?
• RQ5 다양한 정규화자와 구조적 표현 방식이 기울기 분산과 모델 수렴에 어떤 영향을 미치는가?

주요 결과

• SSTs는 서브셋 선택, 스패닝 트리, 아보레센스와 같은 조합 분포에 대해 저분산, 미분 가능한 기울기 추정을 가능하게 한다.
• 이 프레임워크는 굼벨-소프트맥스를 일반화하며, 이전까지는 구조적 조합 공간에 대해 이용 가능하지 않았던 새로운 리라크스레이션을 포함한다.
• NRI 및 L2X 프레임워크에서 SSTs를 사용한 모델은 비구조적 기준 대비 더 정확하고 해석 가능한 잠재 구조를 발견했다.
• SSTs를 사용한 훈련된 모델은 진짜 잠재 구조가 모델의 인덕티브 바이어스와 일치할 경우, 특히 하류 작업에서 더 강력한 성능을 달성했다.
• 구조적 표현(예: one-hot 벡터 대신 간선 지표)을 사용함으로써 전체 조합 탐색 대비 확장성과 효율성이 크게 향상되었다.
• 랜덤 서치를 통한 하이퍼파ram터 튜닝을 통해 최적의 학습률, 드롭아웃 비율, 온도 값을 도출하였으며, 검증 성능 기반으로 최고 성능의 모델을 선별하였다.