[논문 리뷰] Discrete Flows: Invertible Generative Models of Discrete Data

Dustin Tran, Keyon Vafa외 3명|arXiv (Cornell University)|2019. 05. 24.

Natural Language Processing Techniques참고 문헌 40인용 수 40

한 줄 요약

이 논문은 normalizing flows를 이산 데이터에 확장하여 이산 자기회귀 및 이산 이분 흐름(discrete bipartite flows)을 도입함으로써 양방향의 정확한 가능도와 빠른 비자기회귀 생성(non-autoregressive generation)을 가능하게 한다.

ABSTRACT

While normalizing flows have led to significant advances in modeling high-dimensional continuous distributions, their applicability to discrete distributions remains unknown. In this paper, we show that flows can in fact be extended to discrete events---and under a simple change-of-variables formula not requiring log-determinant-Jacobian computations. Discrete flows have numerous applications. We consider two flow architectures: discrete autoregressive flows that enable bidirectionality, allowing, for example, tokens in text to depend on both left-to-right and right-to-left contexts in an exact language model; and discrete bipartite flows that enable efficient non-autoregressive generation as in RealNVP. Empirically, we find that discrete autoregressive flows outperform autoregressive baselines on synthetic discrete distributions, an addition task, and Potts models; and bipartite flows can obtain competitive performance with autoregressive baselines on character-level language modeling for Penn Tree Bank and text8.

연구 동기 및 목표

• 이산 변화-변환 프레임워크(discrete change-of-variables 프레임워크)를 사용하여 normalizing flows를 이산 분포로 확장한다.
• 이산 데이터에 대해 두 가지 가역 아키텍처를 제공한다: 이산 자기회귀 흐름(discrete autoregressive flows)과 이산 이분 흐름(discrete bipartite flows).
• 합성 데이터 및 문자 수준의 언어 모델링에서 개선된 모델링 성능과 생성 속도를 입증한다.

제안 방법

• 가역적 이산 f에 대해 p(y)=p(x=f^{-1}(y))라는 이산 변화-변환 공식을 정의한다.
• 이산 자기회귀 흐름(discrete autoregressive flows)을 개발하여 자기회귀 계층을 쌓고 정확한 가능도로 양방향성을 가능하게 한다.
• 이산 이분(결합) 흐름(discrete bipartite/coupling flows)을 개발하여 정확한 가능도와 함께 빠르고 병렬 생성을 가능하게 한다.
• 0.1의 온도 tau를 갖는 Gumbel-softmax 완화로 이산 출력을 가진 straight-through 경사 추정으로 이산 흐름을 학습한다.
• 이산화된 혼합물, 전랭크(discrete) 분포, 덧셈(Task), Potts 모델, 그리고 문자 수준의 언어 모델링에서 평가한다.

실험 결과

연구 질문

• RQ1 log-determinant-Jacobian 계산 없이 정규화 흐름을 이산 데이터로 확장할 수 있는가?
• RQ2 이산 자기회귀 흐름이 양방향의 정확한 가능성을 가능하게 하고 자기회귀 기초보다 개선되는가?
• RQ3 이산 이분 흐름이 빠른 비자기회귀 생성을 가능하게 하면서도 경쟁력 있는 성능을 제공하는가?
• RQ4 합성 이산 분포와 실제 텍스트 데이터(문자 수준 언어 모델링)에서 이산 흐름의 성능은 어떠한가?

주요 결과

• 이산 흐름은 로그-determinant 항을 생략하는 이산 변화-변환 공식을 통해 정규화 흐름을 이산 데이터로 확장한다.
• 이산 자기회귀 흐름은 합성 이산 분포, 덧셈(Task), Potts 모델에서 자기회귀 기초 대비 로그 가능도(log-likelihood)를 개선한다.
• 이산 이분 흐름은 빠르고 병렬 생성이 가능하면서도 자기회귀 기초와 경쟁력 있는 성능을 달성한다.
• 이산 이분 흐름을 이용한 문자 수준 언어 모델링은 Penn Tree Bank에서 1.38 bits per character, text8에서 1.23 bits per character를 달성하며, 생성 속도는 autoregressive 모델보다 100배 이상 빠르다.