[論文レビュー] Universal approximation property of invertible neural networks

Isao Ishikawa, Takeshi Teshima+4 more|arXiv (Cornell University)|Apr 15, 2022

Model Reduction and Neural Networks被引用数 9

ひとこと要約

この論文は微分幾何学に基づく理論的枠組みを構築することで、可逆ニューラルネットワーク（INNs）における普遍近似性を確立する。可逆性とヤコビアンの計算可能性という制約がある中でも、コアリングフローに基づくINNsとニューラルODE（NODEs）が、弱い条件下で任意の微分同相写像を近似可能であることを証明し、その表現力の高さを示している。

ABSTRACT

Invertible neural networks (INNs) are neural network architectures with invertibility by design. Thanks to their invertibility and the tractability of Jacobian, INNs have various machine learning applications such as probabilistic modeling, generative modeling, and representation learning. However, their attractive properties often come at the cost of restricting the layer designs, which poses a question on their representation power: can we use these models to approximate sufficiently diverse functions? To answer this question, we have developed a general theoretical framework to investigate the representation power of INNs, building on a structure theorem of differential geometry. The framework simplifies the approximation problem of diffeomorphisms, which enables us to show the universal approximation properties of INNs. We apply the framework to two representative classes of INNs, namely Coupling-Flow-based INNs (CF-INNs) and Neural Ordinary Differential Equations (NODEs), and elucidate their high representation power despite the restrictions on their architectures.

研究の動機と目的

• 可逆ニューラルネットワーク（INNs）が、構造的制約がある中でも広範な関数のクラスを近似できるかどうかを調査すること。
• 可逆性とヤコビアンの計算可能性という制約がある中で、INNsの表現力の根本的限界を解明すること。
• 微分幾何学に基づく一般理論的枠組みを構築し、INNsにおける微分同相写像の近似能力を分析すること。
• コアリングフローに基づくINNs（CF-INNs）とニューラルODE（NODEs）という2つの代表的なINNクラスにその枠組みを適用し、それぞれの普遍近似性を確立すること。
• INNsの構造的制約が、適切な条件下では表現力の制限とはならないことを実証すること。

提案手法

• 微分幾何学における構造定理を活用して微分同相写像の空間を特徴づけ、INNsにおける近似の簡略化された解析を可能にする。
• 微分同相写像の近似問題を、滑らかな可逆写像の空間における稠密性の問題として形式化する。
• コアリングフローに基づくINNsに枠組みを適用し、可逆なコアリング層の合成とその閉包性を分析する。
• ニューラルODEに枠組みを適用し、学習可能なベクトル場を持つODEの解としてのフローをモデル化する。
• 滑らかな埋め込みとパーティション・オブ・ユニティの理論を用いて、適切な条件下でINNsの集合が微分同相写像の空間において稠密であることを示す。
• CF-INNsとNODEsの両方が、ネットワークの深さと幅が十分に大きい場合には、任意の微分同相写像を任意に近い精度で近似可能であることを確立する。

実験結果

リサーチクエスチョン

• RQ1 十分な容量がある場合、可逆ニューラルネットワークは任意の滑らかな可逆関数（すなわち微分同相写像）を近似できるか？
• RQ2 可逆性やヤコビアンの計算可能性といったINNsの構造的制約が、その表現力にどの程度制限を及えるか？
• RQ3 構造的制限があるにもかかわらず、コアリングフローに基づくINNsとニューラルODEは普遍近似性を有するか？
• RQ4 異なるINNアーキテクチャにおける近似の分析を統一する一般理論的枠組みは存在するか？
• RQ5 普遍近似性を達成するためには、深さ、幅、活性化関数にどのような条件が必要かつ十分か？

主な発見

• この論文は、コアリングフローに基づくINNsとニューラルODE（NODEs）が、微分同相写像に関して普遍近似性を有することを確立している。
• 微分幾何学に基づく理論的枠組みにより、INNsにおける近似問題が滑らかな可逆写像の空間における稠密性の問題に還元され、厳密な解析が可能になる。
• 可逆性やヤコビアンの計算可能性といった構造的制約があっても、深さと幅が十分に大きい場合には、INNsは任意の微分同相写像を任意に近い精度で近似可能である。
• この枠組みにより、CF-INNsにおける可逆コアリング層の合成が、コアリング関数に弱い条件下で微分同相写像の空間において稠密であることが示された。
• ニューラルODEでは、ODEのベクトル場が十分に表現力を持っている場合、たとえばReLUやReLUに類似した活性化関数を用いる場合に普遍近似性が成立する。
• 結果として、INNsの構造的制約が本質的に表現力を制限するわけではないことが示唆され、ネットワークが十分に深くかつ広い場合に限り、その表現力は制限されない。