[論文レビュー] Ridges, Neural Networks, and the Radon Transform

Michaël Unser|arXiv (Cornell University)|Mar 4, 2022

Medical Imaging Techniques and Applications被引用数 6

ひとこと要約

本稿は、畳み込みニューラルネットワークにおけるリッジ関数とラドン変換の間の厳密な数学的枠組みを確立し、特定のバナッハ部分空間上でバックプロジェクション作用素の可逆性を証明するとともに、ラドンドメインにおけるサンプリング関数の特徴づけを実施する。また、分布的プロファイルを含むリッジ関数の一般化を行い、この形式的枠組みを用いて、ラドンドメイン正則化下でのReLUネットワークの最適性証明を簡略化・明確化する。

ABSTRACT

A ridge is a function that is characterized by a one-dimensional profile (activation) and a multidimensional direction vector. Ridges appear in the theory of neural networks as functional descriptors of the effect of a neuron, with the direction vector being encoded in the linear weights. In this paper, we investigate properties of the Radon transform in relation to ridges and to the characterization of neural networks. We introduce a broad category of hyper-spherical Banach subspaces (including the relevant subspace of measures) over which the back-projection operator is invertible. We also give conditions under which the back-projection operator is extendable to the full parent space with its null space being identifiable as a Banach complement. Starting from first principles, we then characterize the sampling functionals that are in the range of the filtered Radon transform. Next, we extend the definition of ridges for any distributional profile and determine their (filtered) Radon transform in full generality. Finally, we apply our formalism to clarify and simplify some of the results and proofs on the optimality of ReLU networks that have appeared in the literature.

研究の動機と目的

• ニューラルネットワークにおけるリッジ関数とラドン変換の関係を形式化すること、特に無限幅ネットワークおよび測度に基づくパrameterizationの文脈において。
• バックプロジェクション作用素（随伴ラドン変換）が測度および関連関数空間のバナッハ部分空間上で可逆または同定可能な核空間を有するように拡張可能な条件を同定すること。
• フィルタリングされたラドン変換の像に属するサンプリング関数を特徴づけ、ニューラルネットワーク学習の変分的定式化を可能にすること。
• リッジの定義を分布的プロファイルを含む一般化し、一般に成立するそのフィルタリングされたラドン変換を導出すること。
• 提案されたラドンドメイン正則化フレームワークを用いて、既存のReLUネットワーク最適性結果を再導出し、簡略化・明確化すること。

提案手法

• 直接和位相と射影子を用いて、バックプロジェクション作用素が可逆となるハイパーシェルカルバナッハ部分空間（測度を含む）のクラスを導入する。
• バックプロジェクション作用素が母空間全体に拡張可能であり、その核空間がバナッハ補完空間であるような条件を確立する。
• ラドン変換の分布的拡張を用いて、分布的プロファイルを有する一般化リッジを定義し、滑らかでない活性化関数の範囲を超えた解析を可能にする。
• ラドン変換と径方向変数に沿った畳み込み作用素の合成により、一般化リッジのフィルタリングされたラドン変換を導出する。
• 理論をラドンドメイン正則化に適用し、ラドンドメインにおける全 Variation 範囲の最小化が、有限幅ReLUネットワークに対応するスパース解をもたらすことを示す。
• 双対空間における極点理論を用いて、ラドンドメイン最適化問題の最小化子を特徴づけ、それがパrameter空間におけるディラック質量に対応することを示す。

実験結果

リサーチクエスチョン

• RQ1 測度および関連関数空間のバナッハ部分空間上で、バックプロジェクション作用素がどのような条件下で可逆となるか。
• RQ2 どのサンプリング関数がフィルタリングされたラドン変換の像に属するか。そして、それらを抽象的かつ構成的にどのように特徴づけられるか。
• RQ3 リッジの概念を分布的プロファイルを含むようにどのように一般化できるか。また、そのような一般化リッジのラドン変換はどのようなものか。
• RQ4 ラドンドメイン正則化とReLUネットワークの最適性（特にスパarsityと近似性能の観点から）の関係は何か。
• RQ5 提案されたラドン変換形式的枠組みを用いて、既存のReLUネットワーク最適性証明を簡略化・明確化できるか。

主な発見

• 適切な位相的・代数的条件下で、バックプロジェクション作用素は測度空間を含む広範なハイパーシェルカルバナッハ部分空間上で可逆である。
• 拡張されたバックプロジェクション作用素の核空間がバナッハ補完空間として同定され、母空間全体における逆問題の適切な定式化が保証される。
• ラドンドメインにおけるサンプリング関数は、フィルタリングされたラドン変換の評価として表現可能な関数として特徴づけられ、明示的な構成的記述が提供される。
• 分布的プロファイルを有する一般化リッジが定義され、一般に成立するそのフィルタリングされたラドン変換が導出され、古典的リッジレット理論を拡張する。
• 本稿は、ラドンドメイン全 Variation 正則化下でのReLUネットワーク最適性の簡略化・統一された証明を提供し、最小化子がスパースであり、有限幅ネットワークに対応することを示す。
• 実数直線と $\mathbb{R} \times \mathbb{S}^{d-1}$ 上の連続関数空間における双対単位球の極点が符号付きディラック質量であることが示され、最適解のスパarsityの根拠が裏付けられる。