[論文レビュー] Cubic-Spline Flows

Conor Durkan, Artur Bekasov+2 more|arXiv (Cornell University)|Jun 5, 2019

Advanced Numerical Analysis Techniques被引用数 20

ひとこと要約

この論文では、モノトニックな3次スプラインを結合変換として用いる正規化フローのアーキテクチャ、cubic-spline flowsを提案する。このアーキテクチャは、高速な可逆性と高い密度推定性能を両立する。これらのスプラインをLU分解を施した線形層とスタックすることで、密度推定において自己回帰型フローを凌駕または同等にし、効率的なサンプリングと尤度推定を実現する1回パスの可逆性を維持する。

ABSTRACT

A normalizing flow models a complex probability density as an invertible transformation of a simple density. The invertibility means that we can evaluate densities and generate samples from a flow. In practice, autoregressive flow-based models are slow to invert, making either density estimation or sample generation slow. Flows based on coupling transforms are fast for both tasks, but have previously performed less well at density estimation than autoregressive flows. We stack a new coupling transform, based on monotonic cubic splines, with LU-decomposed linear layers. The resulting cubic-spline flow retains an exact one-pass inverse, can be used to generate high-quality images, and closes the gap with autoregressive flows on a suite of density-estimation tasks.

研究の動機と目的

• 正規化フローにおける可逆性の高速性と密度推定性能のトレードオフを解消すること。
• Real NVPと同様に高速な1回パス可逆性を維持するが、自己回帰型フローに近い性能を達成する結合変換を開発すること。
• アフィンまたは加法的結合層の即座の置き換えとして、柔軟で単調的かつ取り扱いやすい密度推定を3次スプラインを用いて実現すること。
• 結合型フローと自己回帰型フローの間の密度推定性能の格差を、サンプリング効率を損なわずに埋めること。

提案手法

• 連続した微分を持つ区分的3次多項式を用いて変換をパラメータ化するモノトニック3次スプライン結合変換を提案する。
• スプラインの節点における微分を局所的な勾配と制約に基づいて計算することで、Steffenの手法を用いて単調性を強制し、可逆性を保証する。
• 3次スプラインの微分である区分的2次関数を用いてヤコビ行列式を実装し、尤度の対数計算を容易にする。
• 3次スプライン結合層をLU分解を施した線形層と統合することで、次元間の相互作用を可能にし、表現力の向上を図る。
• 3次多項式の解析的根の特定を用いて正確な逆計算を実現し、数値最適化を用いない1回パスの逆計算を保証する。
• トレーニングデータにおける対数尤度を最大化するためにバックプロパゲーションを用いてモデルをエンドツーエンドで学習する。この際、取り扱いやすいヤコビ行列式を活用する。

実験結果

リサーチクエスチョン

• RQ1 結合型正規化フローは、自己回帰型フローと同等の密度推定性能を達成しつつ、1回パスの高速可逆性を維持できるか？
• RQ2 2次スプラインなどの従来のスプライン変換と比較して、モノトニック3次スプラインは柔軟性と表現力においてどのように優れるか？
• RQ3 標準ベンチマークにおいて、cubic-spline flowsは密度推定タスクで最先端の結果を達成しているか、あるいはそれを上回っているか？
• RQ4 cubic-spline flowsは1回の順方向計算のみで高品位な画像を生成でき、実用的な生成能力を示せるか？

主な発見

• cubic-spline flowsは、自己回帰型フローとの間の性能格差を埋め、複数のベンチマークで最先端の結果を達成した。
• モデルは正確な1回パス可逆性を維持しており、自己回帰型フローとは異なり、逆計算が高速である。
• モノトニック3次スプラインの使用により、任意の分位点を節点で補間可能な柔軟で連続的かつ単調な変換が可能になった。
• モデルは1回のニューラルネットワークの順方向計算のみで高品位な画像を生成でき、強力な生成能力を示した。
• ヤコビ行列式は、3次スプラインの微分（区分的2次関数）を用いて効率的に計算された。
• 3次多項式の解析的逆計算により、数値的安定性と正確性が保証され、反復的最適化を回避した。