[論文レビュー] Coupling-based Invertible Neural Networks Are Universal Diffeomorphism Approximators

Takeshi Teshima, Isao Ishikawa+4 more|arXiv (Cornell University)|Jun 20, 2020

Neural Networks and Applications参考文献 30被引用数 42

ひとこと要約

本論文は、coupling-flow invertible neural networks (CF-INNs) が普遍的微分同相近似器であることを証明し、アフィン結合が広範な普遍性に十分であることを示し、普遍性クラスの等価性を確立する。

ABSTRACT

Invertible neural networks based on coupling flows (CF-INNs) have various machine learning applications such as image synthesis and representation learning. However, their desirable characteristics such as analytic invertibility come at the cost of restricting the functional forms. This poses a question on their representation power: are CF-INNs universal approximators for invertible functions? Without a universality, there could be a well-behaved invertible transformation that the CF-INN can never approximate, hence it would render the model class unreliable. We answer this question by showing a convenient criterion: a CF-INN is universal if its layers contain affine coupling and invertible linear functions as special cases. As its corollary, we can affirmatively resolve a previously unsolved problem: whether normalizing flow models based on affine coupling can be universal distributional approximators. In the course of proving the universality, we prove a general theorem to show the equivalence of the universality for certain diffeomorphism classes, a theoretical insight that is of interest by itself.

研究の動機と目的

• 厳密な普遍性の枠組みを用いて、CF-INNsが可逆変換の表現力を評価する。
• レイヤ設計に基づいて、CF-INNsが普遍であるかを判断する基準を開発する。
• アフィン結合フロー（ACFs）が、広範な微分同相のクラスに対する普遍近似を支えることを示す。
• アフィン結合CF-INNsの分布的普遍性に関する未解決問題を解決する。

提案手法

• CF-INNアーキテクチャを導入し、結合フローとアフィン結合フローを定義する。
• 微分幾何学ベースの還元を用いて、微分同相クラス間の普遍近似性の同値性を確立する。
• アフィン結合を含むCF-INNに対して、単純な座標ごとの変換への還元を介して、Lp-普遍性およびsup普遍性の結果を証明する。
• 表現力豊かなHを持つH-ACFがS^0_cに対してLp普遍性をもたらし、等価定理を介してD^2へ拡張できることを示す。
• CF-INNの普遍性と分布的普遍性を結びつける推論を導く。

実験結果

リサーチクエスチョン

• RQ1 CF-INNsは広範な微分同相クラスに対して普遍近似を達成できるか、またどのようなレイヤ設計の下で達成されるか？
• RQ2 CF-NNアーキテクチャにアフィン結合を組み込むと、D^2の微分同相に対する普遍性が保証されるか？
• RQ3 CF-NNアーキテクチャにおける異なる普遍性の概念（Lp、sup、分布的）の関係は何か？

主な発見

• CF-INNは、レイヤがアフィン結合と可逆線形関数を特別な場合として含むと、普遍的微分同相近似器となる。
• 等価定理はD^2、T^∞、およびS^∞_cクラスに対する普遍性を示し、より単純な座標ごとの問題への還元を可能にする。
• INN_GはH-ACF層から構成されるためS^0_cに対するLp普遍近似器であり、等価性の結果を介してD^2に対しても普遍性を持つ。
• この研究は、Lp/普遍性の結果の推論として、アフィン結合CF-INNの分布的普遍性を結論として確認する。
• DSFやSoSなどの既存のアーキテクチャは、証明されたフレームワークの下に含まれ、分布的普遍性を継承し、場合によってはsup普遍性も継承する。