[論文レビュー] Emerging Convolutions for Generative Normalizing Flows

Emiel Hoogeboom, Rianne van den Berg+1 more|arXiv (Cornell University)|Jan 30, 2019

Generative Adversarial Networks and Image Synthesis被引用数 43

ひとこと要約

本論文は invertible convolutions を dxd 形式へ、新興の畳み込みおよび周期的畳み込みを介して一般化し、さらに QR-parametrized な 1x1 畳み込みを加え、CIFAR-10、ImageNet、銀河画像での密度モデリング性能を向上させることを示します。

ABSTRACT

Generative flows are attractive because they admit exact likelihood optimization and efficient image synthesis. Recently, Kingma & Dhariwal (2018) demonstrated with Glow that generative flows are capable of generating high quality images. We generalize the 1 x 1 convolutions proposed in Glow to invertible d x d convolutions, which are more flexible since they operate on both channel and spatial axes. We propose two methods to produce invertible convolutions that have receptive fields identical to standard convolutions: Emerging convolutions are obtained by chaining specific autoregressive convolutions, and periodic convolutions are decoupled in the frequency domain. Our experiments show that the flexibility of d x d convolutions significantly improves the performance of generative flow models on galaxy images, CIFAR10 and ImageNet.

研究の動機と目的

• 1x1 畳み込みを超える generative flows における invertible convolutions の柔軟性を向上させる。
• 受容野を保持した新興および周期的畳み込みを導入する。
• 安定で柔軟な QR ベースの 1x1 畳み込みのパラメータ化を提供する。
• 標準データセットでの密度推定とサンプリング効率の改善を実証する。

提案手法

• 標準的な受容野に対応させるために、autoregressive 畳み込みを連鎖させて新興畳み込みを導入する。
• 周波数領域でのデカップリングを介して計算される invertible periodic 畳み込みを提案する。
• 安定で柔軟な 1x1 invertible 畳み込みのための QR ベースのパラメータ化を提示する。
• サンプリングを高速化するための autoregressive 畳み込みの高速化 inversion モジュールを提供する。
• Galaxy, CIFAR-10, ImageNet ベンチマーク上で密度性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 dxd emergent および periodic 畳み込みは、1x1 畳み込みと比較してジェネレーティブ正規化フローの表現力と尤度を向上させるか？
• RQ2 可逆な dxd 畳み込みは、より大きな受容野を提供しつつ、Jacobian行列式や逆変換を扱いやすい状態に保てるか？
• RQ3 QR ベースの 1x1 畳み込みは、PLU パラメータ化よりも安定性と性能を向上させるか？

主な発見

データセット	Real NVP	Glow	Emerging
CIFAR10	3.51	3.36 ± 0.002	3.34 ± 0.002
ImageNet 32x32	4.28	4.09	4.09
ImageNet 64x64	3.98	3.81	3.81

• 周期的および新興の 3x3 畳み込みは Galaxy 密度モデリングで従来の 1x1 畳み込みを上回る。
• Emerging 畳み込みは、さまざまなモデルサイズにおいて CIFAR-10 および ImageNet で Glow に匹敵、または上回る。
• Emerging 畳み込みは、素朴な autoregressive 逆算と MAF ベースラインと比較してサンプリング時間を大幅に削減する。
• QR 1x1 畳み込みは、標準および PLU パラメータ化と同等の性能を、安定性の改善とともに達成する。
• CIFAR-10 および ImageNet(32x32) 全体で、Emerging 畳み込みは顕著な利得を提供し、特に小型モデルで顕著である。