[論文レビュー] Densely connected normalizing flows

Matej Grcić, Ivan Grubišić+1 more|arXiv (Cornell University)|Jun 8, 2021

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

本稿では、中間潜在表現にクロスユニットアフィン結合を介したノイズ事前条件を段階的に追加することで表現力を向上させるDenseFlowという正規化フロー・アーキテクチャを提案する。モジュール内結合において密接接続ブロックとNystroem自己注意機構を融合させることで、中程度の計算コスト制約下でもImageNet32およびImageNet64で最先端の尤度性能を達成し、潜在次元性分布とノイズ条件付けが、深さや幅の単なる増加を超えてフロー容量を著しく向上させることを示している。

ABSTRACT

Normalizing flows are bijective mappings between inputs and latent representations with a fully factorized distribution. They are very attractive due to exact likelihood valuation and efficient sampling. However, their effective capacity is often insufficient since the bijectivity constraint limits the model width. We address this issue by incrementally padding intermediate representations with noise. We precondition the noise in accordance with previous invertible units, which we describe as cross-unit coupling. Our invertible glow-like modules increase the model expressivity by fusing a densely connected block with Nystrom self-attention. We refer to our architecture as DenseFlow since both cross-unit and intra-module couplings rely on dense connectivity. Experiments show significant improvements due to the proposed contributions and reveal state-of-the-art density estimation under moderate computing budgets.

研究の動機と目的

• 双曲性制約による正規化フローの表現力制限、特にモデル幅の制限を是正すること。
• 計算コストを著しく増加させることなく尤度推定性能を向上させること。
• 段階的ノイズ注入による潜在次元性の戦略的増加を通じてモデル容量を向上させること。
• 高速な解析的逆変換と効果的な特徴統合を可能にする効率的で可逆なアーキテクチャを設計すること。
• モデルの深さにわたる潜在分布ダイナミクスが生成性能に与える影響を調査すること。

提案手法

• スケーリングおよびトランスレーションが以前の表現に条件付けられたノイズを段階的に中間潜在表現に追加するクロスユニット結合を導入する。
• 局所的特徴相関とグローバルな文脈を並列的な密接続とNystroem自己注意機構を用いて融合する、新規なモジュール内結合メカニズムを採用する。
• 各可逆ユニットが双曲性を維持し、変数変換の公式により正確な尤度計算が可能な再帰的フロー枠組みを適用する。
• 残留接続スタイルのブロックに注意機構と密接接続を組み合わせたGlowに類似したアーキテクチャを用い、特徴表現を向上させる。
• 以前の潜在状態から導出されたアフィン変換を用いてノイズ注入を条件づけ、制御的かつ表現力豊かなフロー動的を実現する。
• 三角行列構造を介したトレーサブルなヤコビアン行列式の計算を採用し、効率的な尤度評価とサンプリングを保証する。

実験結果

リサーチクエスチョン

• RQ1 中間潜在表現へのノイズの段階的追加は、正規化フローの表現力を向上させるか？
• RQ2 以前の表現に条件づけられたノイズを用いたクロスユニット結合は、フローキャパシティと尤度性能にどのように影響するか？
• RQ3 自己注意機構と密接接続による局所的およびグローバルな文脈の統合は、可逆フローにおけるモジュール内結合を向上させるか？
• RQ4 制御されたノイズ注入による潜在次元性の増加は、中程度の計算コスト制約下でもより良い密度推定を可能にするか？
• RQ5 モデルの深さにわたる潜在次元性の分布は、正規化フローの全体的な生成能力にどのように影響するか？

主な発見

• DenseFlowは、同様の計算制約下で、ImageNet32およびImageNet64で最先端の尤度性能を達成し、先行する正規化フロー・モデルを上回った。
• ノイズ事前条件付きのクロスユニット結合は、従来の意味での深さや幅の増加なしに、モデルの表現力を顕著に向上させた。
• モジュール内結合において密接接続とNystroem自己注意機構を融合させることで、特徴表現が向上し、より良い尤度推定が可能になった。
• モデルは高速な収束性と控えめなメモリ使用量を示し、環境への影響が小さく、実用的でスケーラブルであることが示された。
• 潜在次元性の深さにわたる分布が、単なる総合的容量を超えてフロー表現力に重要な役割を果たすことが結果から明らかになった。
• アーキテクチャは高速な解析的逆変換と正確な尤度評価をサポートしており、効率的なサンプリングと学習が可能である。