[論文レビュー] Non-Euclidean Universal Approximation

Anastasis Kratsios, Ievgen Bilokopytov|arXiv (Cornell University)|Jun 3, 2020

Morphological variations and asymmetry被引用数 6

ひとこと要約

この論文は、非ユークリッド空間やバイナリ出力を利用するなど、ニューラルネットワークの入力層および出力層を変更する場合に、そのユニバーサル近似能力が保存される一般的な条件を確立する。深層ネットワーク、特に畳み込みニューラルネットワーク（CNN）や双曲的ネットワークが、カルタン＝ハダマール多様体や決定的バイナリ分類に適応された場合でもユニバーサル近似器として機能することを証明し、また、大部分の層をランダム化しても確率1でユニバーサル関数族が得られることを示している。

ABSTRACT

Modifications to a neural network's input and output layers are often required to accommodate the specificities of most practical learning tasks. However, the impact of such changes on architecture's approximation capabilities is largely not understood. We present general conditions describing feature and readout maps that preserve an architecture's ability to approximate any continuous functions uniformly on compacts. As an application, we show that if an architecture is capable of universal approximation, then modifying its final layer to produce binary values creates a new architecture capable of deterministically approximating any classifier. In particular, we obtain guarantees for deep CNNs and deep feed-forward networks. Our results also have consequences within the scope of geometric deep learning. Specifically, when the input and output spaces are Cartan-Hadamard manifolds, we obtain geometrically meaningful feature and readout maps satisfying our criteria. Consequently, commonly used non-Euclidean regression models between spaces of symmetric positive definite matrices are extended to universal DNNs. The same result allows us to show that the hyperbolic feed-forward networks, used for hierarchical learning, are universal. Our result is also used to show that the common practice of randomizing all but the last two layers of a DNN produces a universal family of functions with probability one. We also provide conditions on a DNN's first (resp. last) few layer's connections and activation function which guarantee that these layers can have a width equal to the input (resp. output) space's dimension while not negatively affecting the architecture's approximation capabilities.

研究の動機と目的

• 入力層および出力層の変更がニューラルネットワークのユニバーサル近似能力に与える影響を理解すること。
• 深層アーキテクチャにおけるユニバーサル近似を保つための特徴マップおよびリードアウトマップに関する一般的な条件を同定すること。
• 対称正定値行列や双曲的空間などの非ユークリッド空間へのユニバーサル近似保証を拡張すること。
• バイナリ出力層の導入や初期・終盤の層のランダム化といったアーキテクチャ的変更が近似性能に与える影響を分析すること。
• すべての層を除く最後の2層を除いてランダム化するという一般的な深層学習の実践的措置に理論的根拠を与えること。

提案手法

• 深層ニューラルネットワークにおけるユニバーサル近似を保つために必要な特徴マップおよびリードアウトマップに関する一般的な条件を導出する。
• これらの条件を適用して、最終層をバイナリ出力に変更しても分類器としてのユニバーサル近似能力が維持されることを示す。
• カルタン＝ハダマール多様体における幾何的解析を用いて、有効な非ユークリッド特徴マップおよびリードアウトマップを構築する。
• 対称正定値行列上での一般的に用いられる非ユークリッド回帰モデルが、ユニバーサル深層ネットワークに拡張可能であることを示す。
• フレームワークを双曲的フィードフォワードネットワークに適用し、そのユニバーサリティを証明する。
• DNNの最後の2層を除くすべての層をランダム化すると、確率1でユニバーサル関数族が得られることを確立する。

実験結果

リサーチクエスチョン

• RQ1 入力層および出力層を変更した場合、深層ニューラルネットワークにおけるユニバーサル近似能力が保存される条件は何か？
• RQ2 対称正定値行列や双曲的空間などの非ユークリッド的入力または出力空間を持つ深層ネットワークも、依然としてユニバーサル近似を達成できるか？
• RQ3 深層ネットワークの最後の2層を除くすべての層をランダム化しても、そのユニバーサル近似能力は保持されるか？
• RQ4 初期または終盤の層にどのようなアーキテクチャ的制約を課すと、それらの幅を入力／出力次元に等しくしても近似性能に悪影響を及ぼさないか？
• RQ5 カルタン＝ハダマール多様体に対して、幾何学的に意味のある特徴マップおよびリードアウトマップをどのように構築すれば、ユニバーサル近似を保証できるか？

主な発見

• ユニバーサルなアーキテクチャの最終層をバイナリ出力に変更することで、任意の分類器を決定論的に近似可能な新しいアーキテクチャが得られる。
• 深層畳み込みネットワークおよびフィードフォワードネットワークは、対称正定値行列などの非ユークリッド空間に適応された場合でも、ユニバーサル近似器として機能する。
• 提案されたフレームワークのもとで、双曲的フィードフォワードネットワークがユニバーサル近似器であることが証明された。
• DNNの最後の2層を除くすべての層をランダム化すると、確率1でユニバーサル関数族が得られる。
• DNNの最初または最後の数層の幅を入力または出力空間の次元に等しくしても、ユニバーサル近似能力に悪影響を及ぼさない。ただし、活性化関数および接続パターンが導出された条件を満たしている必要がある。