[論文レビュー] MintNet: Building Invertible Neural Networks with Masked Convolutions

Yang Song, Chenlin Meng+1 more|arXiv (Cornell University)|Jul 18, 2019

Neural Networks and Applications参考文献 27被引用数 11

ひとこと要約

MintNetは、マスク付き畳み込みと可逆性を保証するコンポジション則のセットを用いて、逆可換なニューラルネットワークを構築する新しいフレームワークを提案する。この手法により、固定点反復を用いた高速かつ並列化可能な逆変換が可能となり、MNIST、CIFAR-10、ImageNet 32×32でそれぞれ0.98、3.32、4.06ビット/次元という最先端の生成性能を達成している。従来のモデルと比較してパラメータ数と計算コストが少ない。

ABSTRACT

We propose a new way of constructing invertible neural networks by combining simple building blocks with a novel set of composition rules. This leads to a rich set of invertible architectures, including those similar to ResNets. Inversion is achieved with a locally convergent iterative procedure that is parallelizable and very fast in practice. Additionally, the determinant of the Jacobian can be computed analytically and efficiently, enabling their generative use as flow models. To demonstrate their flexibility, we show that our invertible neural networks are competitive with ResNets on MNIST and CIFAR-10 classification. When trained as generative models, our invertible networks achieve competitive likelihoods on MNIST, CIFAR-10 and ImageNet 32x32, with bits per dimension of 0.98, 3.32 and 4.06 respectively.

研究の動機と目的

• 判別的および生成的タスクに適した柔軟で効率的かつ可逆なニューラルネットワークアーキテクチャの開発。
• フローベースの生成モデルにおけるヤコビアン行列式の正確かつ効率的な計算の実現。
• 標準のResNetブロックと同等の計算コストを維持しながら、数値的に安定で並列化可能な逆変換手順の設計。
• 画像分類および密度推定の分野で、既存のモデルと同等またはそれを上回る性能を発揮する深層可逆ネットワークの構築。
• 標準ベンチマークで尤度性能を維持または向上させつつ、モデルの複雑さと学習リソース要件を低減すること。

提案手法

• 三角行列構造のヤコビアン行列を基本とすることで、可逆モジュールを構築し、効率的な行列式計算を保証する。
• 基本的な三角行列モジュールを再帰的に組み合わせるコンポジション則のセットを用い、非線形で可逆なモジュールを構成。可逆性はヤコビアンが非特異である限り保たれる。
• マスク付き畳み込みを基本的構成要素とし、コンポジション則の可逆性条件を満たすために制約を課す。
• 逆変換は局所収束性を有する並列化可能な固定点反復（アルゴリズム1）で行い、理論的収束保証が与えられる。
• アーキテクチャはResNetスタイルのブロックに従い、複数の「Mintレイヤー」をスタックして深層可逆ネットワーク（MintNet）を構築する。
• ヤコビアン行列式は、ヤコビアン行列の三角行列構造のおかげで解析的に正確かつ効率的に計算可能である。

実験結果

リサーチクエスチョン

• RQ1 柔軟かつ逆変換に効率的な可逆ニューラルネットワークの族を構築可能か？
• RQ2 深層アーキテクチャですべての近似を避けて正確かつ効率的なヤコビアン行列式の計算が可能か？
• RQ3 標準のResNetブロックと同等の計算コストを維持しながら、数値的に安定で並列化可能な逆変換手法を設計可能か？
• RQ4 このようなネットワークが画像分類およびフローベースの生成モデルにおいて最先端の性能を達成可能か？
• RQ5 標準ベンチマークで尤度性能を維持または向上させつつ、モデルパラメータ数と学習計算コストを低減可能か？

主な発見

• MintNetはMNISTで99.6%、CIFAR-10で91.2%の精度を達成し、類似アーキテクチャのResNetと同等またはそれに近い性能を発揮した。
• 生成モデルの性能では、MNISTで0.98ビット/次元、CIFAR-10で3.32ビット/次元、ImageNet 32×32で4.06ビット/次元を達成し、新たな最先端記録を樹立した。
• MNISTモデルはFFJORDと比較して30%少ないパラメータを用い、CIFAR-10とImageNetモデルはそれぞれGlowと比較して60%、74%少ないパラメータを要した。
• CIFAR-10での学習は約5日間で2GPUで完了したのに対し、FFJORDは6GPU、Glowは8GPUを要した。これは顕著な効率性の向上を示している。
• MNISTでは自己回帰モデルと比較して約5倍、CIFAR-10およびImageNet 32×32では約25倍高速にサンプリングが可能であった。
• 再構成誤差は120イテレーション以内に収束し、再構成画像は実画像と視覚的に区別がつかないことが確認され、逆変換手順の有効性が裏付けられた。