[論文レビュー] Unconstrained Monotonic Neural Networks

Antoine Wehenkel, Gilles Louppe|Open Repository and Bibliography (University of Liège)|Aug 14, 2019

Generative Adversarial Networks and Image Synthesis参考文献 25被引用数 9

ひとこと要約

本論文は、重みや活性化関数に制約を課すことなく、自由形式のニューラルネットワークを用いて出力の微分が厳密に正であることを保証することで単調性を強制する、Unconstrained Monotonic Neural Networks (UMNN) という新しいアーキテクチャを提案する。この手法により、制限付き代替手法よりも表現力の高い逆写像可能なフローに基づく密度推定が可能となり、密度推定および変分推論の分野で最先端の結果を達成した。

ABSTRACT

Monotonic neural networks have recently been proposed as a way to define invertible transformations. These transformations can be combined into powerful autoregressive flows that have been shown to be universal approximators of continuous probability distributions. Architectures that ensure monotonicity typically enforce constraints on weights and activation functions, which enables invertibility but leads to a cap on the expressiveness of the resulting transformations. In this work, we propose the Unconstrained Monotonic Neural Network (UMNN) architecture based on the insight that a function is monotonic as long as its derivative is strictly positive. In particular, this latter condition can be enforced with a free-form neural network whose only constraint is the positiveness of its output. We evaluate our new invertible building block within a new autoregressive flow (UMNN-MAF) and demonstrate its effectiveness on density estimation experiments. We also illustrate the ability of UMNNs to improve variational inference.

研究の動機と目的

• 重みや活性化関数に制約を課すことによって単調性を強制する従来の単調ニューラルネットワークの表現力の制限を克服すること。
• 単調性を保証しつつも高い表現能力を維持できる柔軟性のある、制約のないアーキテクチャの開発。
• 新しいアーキテクチャを正規化フローアーキテクチャに統合し、密度推定および変分推論の性能向上を図ること。
• 重みや活性化関数にアーキテクチャ制約を課すことなく単調性を強制できるかを示すこと。
• 密度推定ベンチマークおよび変分推論タスクにおいて、手法の有効性を検証すること。

提案手法

• 関数が単調であるための核心的な考えは、その微分が厳密に正であることである。したがって、単調性はニューラルネットワークの出力を正に制約することで強制される。
• ネットワークの微分はバックプロパゲーションにより計算され、正の制約は最終層にソフトプルーフまたは ReLU 活性化関数を用いて適用される。
• 標準的な順方向ネットワークを用い、最終層の出力を正に制限することで、全体の関数が厳密に増加することを保証する。
• この手法は自己回帰的フローアーキテクチャに統合され、逆写像可能で正規化フローに基づく密度推定が可能な UMNN-MAF モデルが構築される。
• モデルは、学習済み分布下でのデータの対数尤度の最大化尤度推定により訓練される。
• 従来の単調ネットワークとは異なり、重みや活性化関数に制限を課さない自由形式のアーキテクチャ設計が可能である。

実験結果

リサーチクエスチョン

• RQ1 重みや活性化関数に制約を課すことなく、ニューラルネットワークにおける単調性を強制できるか？
• RQ2 重みや活性化関数にアーキテクチャ制約を課さないアーキテクチャが、正の微分を保証することで、制限付き単調ネットワークよりも高い表現力を達成できるか？
• RQ3 UMNN は正規化フローアーキテクチャにおいて密度推定に有効に応用できるか？
• RQ4 従来の手法と比較して、UMNN を用いたフローは密度推定ベンチマークで性能向上を達成できるか？
• RQ5 より柔軟な正規化フローを可能にする UMNN は、変分推論を向上させることができるか？

主な発見

• UMNN アーキテクチャは、密度推定ベンチマークで最先端の性能を達成し、従来の単調フローモデルを上回った。
• 重みや活性化関数にアーキテクチャ制約を課さないことで、制限付き単調ネットワークよりも高い表現力を実現した。
• UMNN-MAF モデルは、RealNVP や NSSE ベンチマークを含む標準的な密度推定データセットで優れた性能を示した。
• より柔軟で表現力のある正規化フローを可能にするため、変分推論の性能が向上した。
• ベンチマークデータセットにおいて、競争力のある尤度スコアを達成し、ベースラインの単調フローよりも向上し、非単調ベースラインと同等の結果を出した。
• アブレーションスタディにより、正の微分制約が逆写像可能性と性能の両方にとって不可欠であることが確認され、制約のない設計が最適化および一般化性能の向上に寄与することが示された。