[論文レビュー] Invertible Generative Modeling using Linear Rational Splines

Hadi M. Dolatabadi, Sarah Erfani+1 more|arXiv (Cornell University)|Jan 15, 2020

Model Reduction and Neural Networks参考文献 37被引用数 9

ひとこと要約

本稿では、正規化フローの結合層におけるアフィン変換の代替として線形有理スプラインを提案し、解析的逆関数を備えた効率的な可逆的生成モデルを実現する。この手法は、ベンチマークデータセットにおいて競争力ある尤度性能を達成するとともに、前向きと逆向きの計算コストが対称であるため、高速なサンプリングを実現する。

ABSTRACT

Normalizing flows attempt to model an arbitrary probability distribution through a set of invertible mappings. These transformations are required to achieve a tractable Jacobian determinant that can be used in high-dimensional scenarios. The first normalizing flow designs used coupling layer mappings built upon affine transformations. The significant advantage of such models is their easy-to-compute inverse. Nevertheless, making use of affine transformations may limit the expressiveness of such models. Recently, invertible piecewise polynomial functions as a replacement for affine transformations have attracted attention. However, these methods require solving a polynomial equation to calculate their inverse. In this paper, we explore using linear rational splines as a replacement for affine transformations used in coupling layers. Besides having a straightforward inverse, inference and generation have similar cost and architecture in this method. Moreover, simulation results demonstrate the competitiveness of this approach's performance compared to existing methods.

研究の動機と目的

• アフィン結合層の制限を解決すること。これは、効率的な可逆性を備えながらもモデルの表現力が制限されるためである。
• 多項式ベースのスプラインが逆変換のための非線形方程式を解く必要があるという計算上のボトル neck を克服すること。
• トレーサブルなヤコビアン行列式と効率的な前向きおよび逆向きの演算を備えた、フローに基づく生成モデルを開発すること。
• 実世界のデータセットにおいて、より高い次元の密度推定を実現し、サンプリング効率を向上させるとともに、競争力ある尤度性能を達成すること。

提案手法

• 結合層におけるアフィン変換を、分子と分母がともに線形関数である区分的有理関数である単調な線形有理スプラインに置き換える。
• 各セグメント内で一意な逆関数が保証されるように、厳密に単調なスプラインを構築することで可逆性を確保する。
• 高次多項式スプラインが要請する反復的または根の探索手法を避けるために、線形有理スプラインの解析的逆関数を導出する。
• 前向きと逆向きの両方の計算コストを同じに保つことで、効率的なサンプリングと学習を可能にする。
• すべての次元が更新されるように、交互にマスクを適用する結合層を用いてスプライン変換を正規化フローのアーキテクチャに統合する。
• 入力の分割に応じてスプラインの制御点と係数を予測するニューラルネットワークを用いてスプラインをパラメータ化する。

実験結果

リサーチクエスチョン

• RQ1 線形有理スプラインは、可逆性を保ちつつアフィン結合層よりも表現力に優れた代替手段となり得るか？
• RQ2 反復的逆変換を要する手法（例：リシidualフロー）と比較して、線形有理スプラインを用いることでサンプリングが高速化されるか？
• RQ3 標準ベンチマークにおいて、線形有理スプラインフローの尤度性能は最先端の正規化フローと比べてどうなるか？
• RQ4 既存の手法と比較して、パラメータ数を減らし、計算オーバーヘッドを低減した状態でも、線形有理スプラインは競争力ある結果を達成できるか？
• RQ5 解析的逆関数の使用が、フローに基づくモデルにおける学習安定性と推論効率に与える影響は何か？

主な発見

• 提案された線形有理スプラインフローは、MNISTで-82.23 ± 0.46 nats、EMNISTで-120.46 ± 0.40 natsのテストセットELBOを達成し、GlowやRQ-NSFと同等またはそれを上回る性能を示した。
• MNISTでは79.66 ± 0.42 nats、EMNISTでは117.74 ± 0.38 natsの負の対数尤度を達成し、IAF/MAFを上回り、RQ-NSFやGlowと同等の性能を示した。
• リシidualフローが固定点法による反復的逆変換を必要とするのに対し、提案モデルのサンプリングは最大で1桁の速度向上を達成した。
• 線形有理スプラインの逆関数は解析的に計算可能であり、前向きパスと同一の関数形を持つため、計算コストが対称的である。
• 単純であるにもかかわらず、Glow やリシidualフローのような複雑なモデルと同等の性能を達成しており、場合によってはパラメータ数を半分に抑えた状態でも同様の性能を示した。
• アブレーションスタディーやサンプル生成の結果から、合成データおよび実世界のデータの両方で優れた性能を示し、特に多モーダル分布を含むタスクに対しても強力な性能を発揮した。