[논문 리뷰] Direct Optimization through $\arg \max$ for Discrete Variational Auto-Encoder

Guy Lorberbom, Andreea Gane외 2명|arXiv (Cornell University)|2018. 06. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 47인용 수 6

한 줄 요약

이 논문은 비가역적인 $\ceil\max$ 연산을 갖는 이산 변분 오토인코더(VAE)를 훈련하기 위해 직접 손실 최소화 방식을 통해 직접 최적화를 제안한다. 이는 Gumbel-Softmax 완화의 편향을 피하고, 두 최대화 연산 간의 차이를 통한 기울기 추정을 통해 고차원의 구조적 공간에서도 효율적인 훈련을 가능하게 하여 비구조적 및 구조적 이산 VAE에서 최신 기준 성능을 달성한다.

ABSTRACT

Reparameterization of variational auto-encoders with continuous random variables is an effective method for reducing the variance of their gradient estimates. In the discrete case, one can perform reparametrization using the Gumbel-Max trick, but the resulting objective relies on an $\arg \max$ operation and is non-differentiable. In contrast to previous works which resort to softmax-based relaxations, we propose to optimize it directly by applying the direct loss minimization approach. Our proposal extends naturally to structured discrete latent variable models when evaluating the $\arg \max$ operation is tractable. We demonstrate empirically the effectiveness of the direct loss minimization technique in variational autoencoders with both unstructured and structured discrete latent variables.

연구 동기 및 목표

• 비가역적인 $\rceil\max$ 연산에서 고분산 기울기 추정기로 인해 발생하는 이산 VAE 훈련의 과제를 해결하기 위해.
• 이산 VAE에서 Gumbel-Softmax 완화로 인한 편향을 제거하면서도 훈련 효율성을 유지하기 위해.
• 합산 기반 완화가 비가역적인 구조적 이산 잠재 공간으로 재프로그래밍 기법을 확장하기 위해.
• 비구조적 및 부분적으로 레이블이 부여된 설정에서 직접 최적화의 효과성을 입증하기 위해.
• 직접 손실 최소화 추정기의 이론적으로 탄탄한, 정규성 가정이 없는 $\rceil\max$ 연산에 대한 증명을 제공하기 위해.

제안 방법

• 이산 VAE 목표를 재프로그래밍하기 위해 Gumbel-Max 기법을 적용하여 비가역적인 $\rceil\max$ 연산을 유도한다.
• 직접 손실 최소화 접근법을 사용하여 원래 목표와 변형된 목표에 대한 최대화 간의 차이를 통해 $\rceil\max$ 함수의 기울기를 추정한다.
• 표준 Gumbel-Softmax 완화를 직접 최적화로 대체하여 소프트맥스 정규화 및 그 계산 비용을 회피한다.
• 합산이 비가역적인 경우에도 할당에 대한 타당한 최대화를 수행함으로써 이중 구조적 이산 잠재 공간으로 방법을 확장한다.
• 혼합 연속-이산 잠재 공간을 위한 공유 인코더 아키텍처를 갖춘 VAE 프레임워크에 기울기 추정기를 통합한다.
• 부분적으로 레이블이 부여된 설정에서 $\rceil\max$ 예측을 손실 함수를 사용하여 校정하여 생성된 이미지의 이산 의미를 제어한다.

실험 결과

연구 질문

• RQ1 최대화 연산 간의 차이를 통한 직접 최적화가 이산 VAE의 $\rceil\max$ 연산에 대해 저분산, 저편향 기울기 추정기를 제공할 수 있는가?
• RQ2 비구조적 이산 VAE에서 직접 최적화가 훈련 안정성과 생성 품질 측면에서 Gumbel-Softmax 완화를 능가하는가?
• RQ3 소프트맥스 정규화가 계산적으로 불가능한 경우에도 직접 최적화 방법을 구조적 이산 잠재 변수 모델로 확장할 수 있는가?
• RQ4 이중 최적화가 이미지 생성에서 분리된 이산 의미를 학습하는 데 부분적으로 레이블이 부여된 설정에서 얼마나 효과적인가?
• RQ5 편미경 파rameter $\epsilon$ 가 직접 최적화 방법의 수렴성과 성능에 미치는 영향은 무엇인가?

주요 결과

• 1200개의 레이블이 있는 MNIST에서, 직접 최적화 방법은 준지도 학습에서 96.8%의 정확도를 달성하여 Gumbel-Softmax(92.7%)를 능가했다.
• 1200개의 레이블이 있는 Fashion-MNIST에서, 직접 최적화 방법은 73.7%의 정확도를 기록했고, Gumbel-Softmax는 73.2%였으며, 일관된 우월성을 보였다.
• MNIST에서 직접 최적화 방법은 테스트 경계값 130.921을 달성하여 Gumbel-Softmax의 130.063보다 略적으로 우수하여 우수한 가능도 추정을 나타냈다.
• 최대유량 기반 추론을 사용하는 구조적 VAE에서, 직접 최적화 방법은 CPLEX 기반 추론과 성능가능성을 같았지만 훨씬 빠르게 작동했으며, 85번째 에포크부터는 우월성이 나타났다.
• 약한 지도 학습을 통한 준지도 학습은 모델이 이산 잠재 코드를 조작하여 안경, 미소, 성별 등의 특성을 제어하는 이미지를 생성할 수 있게 했다.
• Gumbel-Softmax가 실패하는 곳에서도 최대화에 의존함으로써 고차원의 구조적 공간에서 효율적인 훈련을 가능하게 하여 확장성이 뛰어나다.