[論文レビュー] Discrete Flows: Invertible Generative Models of Discrete Data

Dustin Tran, Keyon Vafa+3 more|arXiv (Cornell University)|May 24, 2019

Natural Language Processing Techniques参考文献 40被引用数 40

ひとこと要約

本論文は正規化フローを離散データへ拡張し、離散自己回帰フローと離散双部フローを用いて、双方向の厳密尤度と高速な非自己回帰生成を実現する。

ABSTRACT

While normalizing flows have led to significant advances in modeling high-dimensional continuous distributions, their applicability to discrete distributions remains unknown. In this paper, we show that flows can in fact be extended to discrete events---and under a simple change-of-variables formula not requiring log-determinant-Jacobian computations. Discrete flows have numerous applications. We consider two flow architectures: discrete autoregressive flows that enable bidirectionality, allowing, for example, tokens in text to depend on both left-to-right and right-to-left contexts in an exact language model; and discrete bipartite flows that enable efficient non-autoregressive generation as in RealNVP. Empirically, we find that discrete autoregressive flows outperform autoregressive baselines on synthetic discrete distributions, an addition task, and Potts models; and bipartite flows can obtain competitive performance with autoregressive baselines on character-level language modeling for Penn Tree Bank and text8.

研究の動機と目的

• 離散のチェンジオブ変数フレームワークを用いて正規化フローを離散分布へ拡張する。
• 離散データのための2つの可逆アーキテクチャを提供する：離散自己回帰フローと離散双部フロー。
• 合成タスクと文字レベルの言語モデリング全体で、モデリング性能と生成速度の向上を実証する。

提案手法

• 可逆な離散 f に対して離散のチェンジオブ変数公式 p(y)=p(x=f^{-1}(y)) を定義する。
• 離散自己回帰フローを開発して自己回帰レベルを積み重ね、正確な尤度を用いた双方向性を実現する。
• 離離散双部（カップリング）フローを開発して、正確な尤度を持つ高速で並列な生成を可能にする。
• 離散出力のために Gumbel-softmax 緩和を用いた Straight-Through 勾配推定法で離散フローを訓練する（温度 τ=0.1）。
• 離散化された混合、全秩離散分布、加算タスク、Potts モデル、そして文字レベルの言語モデリングで評価する。

実験結果

リサーチクエスチョン

• RQ1 正規化フローを対数ヤコビアン計算なしに離散データへ拡張できるか？
• RQ2 離散自己回帰フローは双方向の厳密尤度を実現し、自己回帰ベースを上回るのか？
• RQ3 離散双部フローは高速な非自己回帰生成と競争力のある性能を提供するのか？
• RQ4 合成離散分布と実データのテキスト（文字レベルの言語モデリング）で離散フローはどのように機能するか？

主な発見

• 離散フローは離散のチェンジオブ変数公式を介して正規化フローを離散データへ拡張し、log-determinant項を省略する。
• 離散自己回帰フローは、合成離散分布、加算タスク、Pottsモデルにおいて自己回帰ベースより対数尤度を改善する。
• 離散双部フローは自己回帰ベースと競合する性能を達成しつつ、高速で並列な生成を可能にする。
• 離散双部フローを用いた文字レベルの言語モデリングは Penn Tree Bankで1.38 bits per character、text8で1.23 bits per characterを達成し、生成速度は自己回帰モデルの100倍超である。