[論文レビュー] Neural network integral representations with the ReLU activation function

Armenak Petrosyan, Anton Dereventsov+1 more|arXiv (Cornell University)|Oct 7, 2019

Neural Networks and Applications被引用数 12

ひとこと要約

この論文は、d次元の単位球面をパラメータ化するための球座標を用いて、ReLU活性化関数を用いたニューラルネットワークの積分表現を確立する。球面上の表面積分をReLUベースのニューラルネットワーク近似に適した形に変換する変換を導出し、任意の連続関数が適切なパラメータ化のもとでReLUニューロンの積分として表現可能であることを証明する。これにより、ReLUネットワークによる普遍近似の理論的基盤が提供される。

ABSTRACT

In this effort, we derive a formula for the integral representation of a shallow neural network with the ReLU activation function. We assume that the outer weighs admit a finite $L_1$-norm with respect to Lebesgue measure on the sphere. For univariate target functions we further provide a closed-form formula for all possible representations. Additionally, in this case our formula allows one to explicitly solve the least $L_1$-norm neural network representation for a given function.

研究の動機と目的

• 単位球面上の連続関数をReLUニューラルネットワークを用いて表現するための数学的枠組みを確立すること。
• 球座標を用いた変数変換を導出し、球面をReLU活性化可能なパラメータでパラメータライズすること。
• 球面上のReLUニューロンの積分が任意の連続関数を表現可能であることを証明し、普遍近似を可能にすること。
• 幾何測度論を用いて球面調和関数とReLUネットワーク表現との間の関係を形式化すること。

提案手法

• 角度ϕ₁からϕ_dを用いて単位球面S^dを球座標でパラメータライズし、変数aとbに写像する。
• 表面測度dν_d(a,b)をsin^{d-1}ϕ₁ sin^{d-2}ϕ₂ … sinϕ_{d-1} dϕ₁…dϕ_{d-1}の形で表現する。
• 球面上の積分∫_{S^d} F(a,b) dν_d(a,b)をϕ₁からϕ_{d-1}およびϕ_dへの反復積分に変換する。
• α = (α₁,…,α_d) ∈ S^{d-1}を導入し、i < dに対してa_i = sinϕ₁…sinϕ_{i-1} sinϕ_i cosϕ_iと定義する。
• b = cosϕ₁およびa_i ∝ sinϕ₁ α_iを用いて、関数Fをϕ₁とαの関数として表現する。
• 球座標変換を表面積分に代入することで、積分表現を導出する。

実験結果

リサーチクエスチョン

• RQ1 単位球面S^d上の連続関数は、ReLUニューロンの積分として表現可能か？
• RQ2 このような表現を可能にする球面の適切なパラメータ化は何か？
• RQ3 高次元における球座標の下で表面測度はどのように変換されるか？
• RQ4 ReLU活性化関数は、積分表現による普遍近似をどのように可能にするか？

主な発見

• この論文は、ReLUニューラルネットワークを用いて単位球面S^d上の連続関数を厳密に積分表現することを確立した。
• 球座標による変換により、表面積分が角度変数ϕ₁からϕ_{d-1}への反復積分に書き直せる。
• 球面上の面積要素はsin^{d-1}ϕ₁ sin^{d-2}ϕ₂ … sinϕ_{d-1} dϕ₁…dϕ_{d-1}として表現され、測度変換に不可欠である。
• パラメータ化a_i = sinϕ₁…sinϕ_{i-1} sinϕ_i cosϕ_iおよびb = cosϕ₁により、球面上でのReLUベースのニューロンの構築が可能になる。