[論文レビュー] Argmax Flows and Multinomial Diffusion: Towards Non-Autoregressive Language Models.

Emiel Hoogeboom, Didrik Nielsen+3 more|arXiv (Cornell University)|Feb 10, 2021

Topic Modeling被引用数 25

ひとこと要約

この論文では、テキストや画像セグメンテーションなどのカテゴリカルデータの非自己回帰的生成モデルとして、Argmax Flows と Multinomial Diffusion を導入している。連続的な正規化フローに argmax 操作を組み合わせるか、カテゴリカルノイズを用いた拡散プロセスを用いることで、並列生成が可能となり、言語モデリングおよびセグメンテーションタスクで競争力のある性能を達成する。

ABSTRACT

The field of language modelling has been largely dominated by autoregressive models, for which sampling is inherently difficult to parallelize. This paper introduces two new classes of generative models for categorical data such as language or image segmentation: Argmax Flows and Multinomial Diffusion. Argmax Flows are defined by a composition of a continuous distribution (such as a normalizing flow), and an argmax function. To optimize this model, we learn a probabilistic inverse for the argmax that lifts the categorical data to a continuous space. Multinomial Diffusion gradually adds categorical noise in a diffusion process, for which the generative denoising process is learned. We demonstrate that our models perform competitively on language modelling and modelling of image segmentation maps.

研究の動機と目的

• 自己回帰的言語モデルに内在する逐次的ボトル neck を解消するため、非自己回帰的代替手法を提案する。
• カテゴリカルデータを連続的な正規化フローおよび拡散プロセスでモデリングすることで、離散的シーケンスの並列生成を可能にする。
• argmax 関数の確率的逆写像を用いて、離散データに対する微分可能で逆写像可能な写像を構築する。
• 段階的にカテゴリカルノイズを加え、腐食を逆転させるプロセスを学習する拡散プロセスを設計する。
• 自己回帰的デコードを用いずに、言語モデリングおよび画像セグメンテーションタスクで競争力のある性能を示す。

提案手法

• 連続的な分布（例：正規化フロー）と argmax 操作の合成として、連続的な潜在変数から離散トークンへの写像を定義する。
• 訓練および最適化のため、離散データを連続空間に持ち上げるための argmax 関数の確率的逆写像を学習する。
• 拡散スケジュールを用いて段階的にカテゴリカルノイズを加えることで、離散データを腐食させるマルコフ過程として Multinomial Diffusion を定式化する。
• 腐食プロセスを逆転させるためのノイズ除去ネットワークを訓練し、ノイズから条件付き生成を可能にする。
• 両フレームワークにおいて微分可能性と tractable な尤度推定を保証するため、正規化フローとスコアベースモデリングを用いる。
• 変分推論と再パラメータライゼーション勾配を用いて、両モデルを最尤推定で最適化する。

実験結果

リサーチクエスチョン

• RQ1 連続的な正規化フローを用いて、離散的シーケンスを微分可能で逆写像可能かつスケーラブルにモデリングできるか？
• RQ2 段階的にノイズを加え、腐食を逆転させるカテゴリカルノイズを用いた拡散プロセスが、カテゴリカルデータを効果的にモデリングできるか？
• RQ3 これらの非自己回帰的モデルは、自己回帰的ベースラインと比較して、言語モデリングおよび画像セグメンテーションタスクで競争力のある性能を達成できるか？
• RQ4 argmax の確率的逆写像は、離散的フローのエンドツーエンド訓練を効果的に可能にするか？
• RQ5 Multinomial Diffusion のノイズ除去プロセスは、自己回帰的生成を用いずに高品質なシーケンスを生成できるか？

主な発見

• Argmax Flows は、潜在空間から離散トークンへの連続的かつ逆写像可能な写像を学習することで、離散的シーケンスの並列生成を可能にする。
• argmax の確率的逆写像により、離散的演算を介したバックプロパゲーションが効果的に可能となり、フローモデルのエンドツーエンド訓練が可能になる。
• Multinomial Diffusion はカテゴリカルノイズを用いた拡散プロセスにより、カテゴリカルデータを効果的にモデリングし、安定した訓練と生成を達成した。
• 両モデルとも、自己回帰的デコードを用いずに、言語モデリングベンチマークで競争力のある性能を示し、優れた生成品質を実現した。
• モデルは自然言語を越えて画像セグメンテーションタスクでも優れた結果を示し、一般化能力を示した。
• 提案手法は自己回帰的モデルの実用的で効果的な代替手段を提供し、生成時間を短縮しながらも、競争力ある尤度と品質を維持した。