[論文レビュー] Invertible DenseNets with Concatenated LipSwish

Yura Perugachi-Diaz, Jakub M. Tomczak+1 more|VU Research Portal|Feb 4, 2021

Domain Adaptation and Few-Shot Learning参考文献 39被引用数 10

ひとこと要約

本稿では、密接な残差ブロックにおけるリプシッツ制約を用いて可逆性を強制することで、パrameter効率の高いフローベースの生成モデルである可逆的DenseNets（i-DenseNets）を提案する。学習可能な連結リプシッチスイッチ（Concatenated LipSwish）活性化関数と重み付き特徴連結を導入することで、同等のパrameter予算下でCIFAR10およびImageNet32において、密度推定およびハイブリッド分類・生成モデル化の両面で、Residual Flowsや他のフローベースモデルを上回る、最先端の次元あたりビット数の性能を達成した。

ABSTRACT

We introduce Invertible Dense Networks (i-DenseNets), a more parameter efficient extension of Residual Flows. The method relies on an analysis of the Lipschitz continuity of the concatenation in DenseNets, where we enforce invertibility of the network by satisfying the Lipschitz constant. Furthermore, we propose a learnable weighted concatenation, which not only improves the model performance but also indicates the importance of the concatenated weighted representation. Additionally, we introduce the Concatenated LipSwish as activation function, for which we show how to enforce the Lipschitz condition and which boosts performance. The new architecture, i-DenseNet, out-performs Residual Flow and other flow-based models on density estimation evaluated in bits per dimension, where we utilize an equal parameter budget. Moreover, we show that the proposed model out-performs Residual Flows when trained as a hybrid model where the model is both a generative and a discriminative model.

研究の動機と目的

• 残差ブロックの概念を密接に接続された層へ拡張することで、Residual Flowsのよりパrameter効率の良い代替手法を開発すること。
• 連結操作におけるリプシッツ連続性の上限を導出することにより、DenseNetsにおける可逆性を強制すること。
• 重要な特徴表現を強調する学習可能な重み付き連結メカニズムを用いて、モデル性能を向上させること。
• 信号の保持を向上させるために、LipSwishから派生したタイトなリプシッツバインディングを持つ「連結リプシッチスイッチ（CLipSwish）」活性化関数を導入・統合すること。
• 純粋な密度推定およびハイブリッド判別的・生成的モデリングタスクの両方において、i-DenseNetsを評価し、同等のパrameter予算下での優れた性能を示すこと。

提案手法

• 変換層のスペクトルノルムを1未満に制約することで、DenseNetブロックにおける可逆性を強制し、リプシッツ定数が有界であり、固定点反復による逆算が可能であることを保証する。
• 訓練中に特徴の重要性を動的に割り当てる学習可能な重み付き連結メカニズムを導入し、表現学習を向上させる。
• LipSwishから派生し、よりタイトなリプシッツバインディングを持つ「連結リプシッチスイッチ（CLipSwish）」活性化関数を提案し、標準のLipSwishよりも信号をより多く保持する。
• すべての層にスペクトル正規化を適用することでリプシッツ条件を維持し、バナッハの固定点定理を用いて、ネットワーク全体の可逆性を保証する。
• 変数変換の公式を用いて、ジャコビアン行列式を不偏推定により推定することで、計算可能な形で対数尤度を計算する。これにより、訓練の安定性が向上する。
• 一様なデクアンタイゼーションを用いた標準的な対数尤度目的関数でモデルを訓練し、密度推定およびハイブリッド分類タスクの両方が可能になるようにする。

実験結果

リサーチクエスチョン

• RQ1 残差ネットワークにおける密接な接続性を、パrameter効率を維持したまま可逆フローに適応させることは可能か？
• RQ2 DenseNetsにおける連結操作にリプシッツ条件を強制することで、可逆性を保証するにはどうすればよいか？
• RQ3 学習可能な重み付き連結メカニズムは、フローベースモデルにおける表現学習とモデル性能を向上させるか？
• RQ4 CLipSwish活性化関数は、標準の活性化関数と比較して、可逆ネットワークにおける信号の保持と性能向上に寄与するか？
• RQ5 同等のパrameter予算下で、i-DenseNetはResidual Flowsと比較して、次元あたりビット数およびハイブリッドモデリング性能において優れているか？

主な発見

• 同等のパrameter予算下で、CIFAR10およびImageNet32において、i-DenseNetsはResidual Flowsや他のフローベースモデルを上回り、次元あたりビット数の分野で最先端の性能を達成した。
• 提案された学習可能な重み付き連結メカニズムは、モデル性能の向上をもたらし、特定の特徴表現の重要性を示す解釈可能性を提供した。
• CLipSwish活性化関数は、i-DenseNetsおよびResidual Flowsの両方で顕著な性能向上をもたらし、その汎用性と有効性を示した。
• より小さなi-DenseNetアーキテクチャが、より大きなものよりも優れた性能を示した。これは、深さそのものが性能を向上させないことを示し、アーキテクチャの効率性が極めて重要であることを示唆している。
• ハイブリッドモデリングタスクにおいて、λ=1のi-DenseNetsは、Residual Flowsおよびそれらの類似モデルと比較して、より高い分類精度と優れた密度推定性能を達成した。
• モデルは強力な一般化性能を示し、複数のデータセットおよび設定（計算可能であれば高解像度データを含む）において、性能向上が観察された。