[論文レビュー] Globally Injective ReLU Networks

Michael Puthawala, Konik Kothari+3 more|arXiv (Cornell University)|Jun 15, 2020

Neural dynamics and brain function参考文献 62被引用数 11

ひとこと要約

この論文は、全結合層および畳み込みReLUネットワークにおけるグローバルな単射性の鋭い理論的条件を確立し、各層で最小でも2倍の拡張係数が必要かつ十分であることを証明している。さらに、層ごとの倍率ではなく、エンドツーエンドの次元倍増が単射性を保証できることを示しており、生成モデルや逆問題への応用が可能である。

ABSTRACT

Injectivity plays an important role in generative models where it enables inference; in inverse problems and compressed sensing with generative priors it is a precursor to well posedness. We establish sharp characterizations of injectivity of fully-connected and convolutional ReLU layers and networks. First, through a layerwise analysis, we show that an expansivity factor of two is necessary and sufficient for injectivity by constructing appropriate weight matrices. We show that global injectivity with iid Gaussian matrices, a commonly used tractable model, requires larger expansivity between 3.4 and 10.5. We also characterize the stability of inverting an injective network via worst-case Lipschitz constants of the inverse. We then use arguments from differential topology to study injectivity of deep networks and prove that any Lipschitz map can be approximated by an injective ReLU network. Finally, using an argument based on random projections, we show that an end-to-end -- rather than layerwise -- doubling of the dimension suffices for injectivity. Our results establish a theoretical basis for the study of nonlinear inverse and inference problems using neural networks.

研究の動機と目的

• 生成モデルや逆問題の文脈において、ReLUネットワークにおけるグローバル単射性の必要十分条件を確立すること。
• 全結合および畳み込みReLU層における単射性に必要な最小の拡張係数を同定すること。
• 逆問題応用における逆問題の安定性を定量化するため、逆関数の最悪ケースリプシッツ定数を分析すること。
• 単射的ReLUネットワークが任意のリプシッツ連続写像を普遍的に近似できることを証明し、その表現力の高さを確立すること。
• 層ごとの倍率要件を満たさずに、エンドツーエンドの次元倍増（約2倍）で十分に単射性を達成できることを示すこと。

提案手法

• 各層の解析を通じて、グローバル単射性の必要十分条件を導出する。
• 全結合層において最小の拡張係数（m = 2n）を達成する決定的重み行列を構築する。
• 微分トポロジーの議論を用いて、任意のリプシッツ連続写像が単射的ReLUネットワークによって近似可能であることを証明する。
• ランダム射影の議論を用いて、エンドツーエンドの次元倍増が単射性を保証することを示し、層ごとの制約を回避する。
• 逆問題応用における安定性を定量化するため、最悪ケースの逆関数リプシッツ定数を導出する。
• 構造的重み行列（例：畳み込みフィルタ w および -s²w）を用いた、単射的畳み込み層を備えたGANベースの実験設定を採用し、性能と安定性を検証する。

実験結果

リサーチクエスチョン

• RQ1 ReLU層がグローバルに単射的であるために必要な最小の拡張係数は何か？
• RQ2 単射的ReLUネットワークは、任意のリプシッツ連続写像を普遍的に近似できるか？
• RQ3 各層での拡張係数2の要件は必須か？それとも、エンドツーエンドの次元倍増で十分に単射性を達成できるか？
• RQ4 逆問題応用における逆問題の安定性と、逆関数の最悪ケースリプシッツ定数の関係は何か？
• RQ5 構造的重み行列（例：畳み込みフィルタ）を用いても、単射性を維持しながら単射的ReLUネットワークを構築できるか？

主な発見

• 全結合ReLU層において、最小の拡張係数2が、グローバル単射性に必要かつ十分であり、決定的重み行列によって達成可能である。
• i.i.d. ガウス分布に従う重みを用いたReLU層では、単射性を達成するための拡張係数は3.4から10.5の間で必要となる。
• 単射的ReLU層の最悪ケース逆関数リプシッツ定数は有界であるため、逆問題応用における安定性の推定が可能である。
• 任意のリプシッツ連続写像は、単射的ReLUネットワークによって近似可能であり、単射的ネットワークの普遍近似性が確立される。
• 深層ReLUネットワークにおいて、エンドツーエンドの次元倍増（約2倍）で十分に単射性が達成可能であり、層ごとの倍率要件を緩和できる。
• 数値実験の結果、構造的フィルタ（w および -s²w）を用いた単射的GANは、標準GANと同等の性能を達成するとともに、安定な逆問題解法が可能であることが示された。