[論文レビュー] Deep Learning by Scattering

Stéphane Mallat, Waldspurger, Irène|arXiv (Cornell University)|Jun 24, 2013

Advanced X-ray Imaging Techniques参考文献 4被引用数 11

ひとこと要約

本稿は、l²プーリングを用いたスキャattering変換を用いた深層学習のための数学的枠組みを提示する。深層ネットワークをユニタリ演算子の繰り返し適用とその後に続く複素絶対値による処理としてモデル化し、期待スキャatteringが高次元確率分布の収縮的かつ安定的な表現を提供することを証明する。これは、ラベルなしデータの体積を保存するように空間収縮を最適化し、スパarsityと一般化の理論的関連を確立する。

ABSTRACT

We introduce general scattering transforms as mathematical models of deep neural networks with l2 pooling. Scattering networks iteratively apply complex valued unitary operators, and the pooling is performed by a complex modulus. An expected scattering defines a contractive representation of a high-dimensional probability distribution, which preserves its mean-square norm. We show that unsupervised learning can be casted as an optimization of the space contraction to preserve the volume occupied by unlabeled examples, at each layer of the network. Supervised learning and classification are performed with an averaged scattering, which provides scattering estimations for multiple classes.

研究の動機と目的

• l²プーリングを用いたユニタリ演算子と複素絶対値を用いた深層ニューラルネットワークの数学的モデルの構築。
• ラベルなしデータが占める体積を維持する空間収縮として、教師なし表現学習を形式化すること。
• スキャatteringに基づく表現と深層ネットワークにおけるスパarsityおよび一般化との理論的関連を確立すること。
• 期待および平均化されたスキャattering変換の分析を通じて、深層学習の理論的基盤を提供すること。

提案手法

• l²プーリングを実装するため、ユニタリ演算子の後に複素絶対値を適用するアーキテクチャを用いる。
• 期待スキャattering変換を、層出力の期待値の系列として定義し、入力分布の収縮的表現を形成する。
• ユニタリ演算子と絶対値演算の階層的カスケードを適用し、変動性を段階的に低減するとともに信号エネルギーを保存する。
• 単一のデータ実現から表現を推定可能となるように、平均化スキャattering変換を用いる。
• ネットワーク層がノルム損失を最小化しつつ、データ分布の濃度を維持する空間収縮の原則を導入する。
• ユニタリ不変性とノルム収縮の議論を用いて、スキャattering変換の収束性と安定性を証明する。

実験結果

リサーチクエスチョン

• RQ1 l²プーリングを用いた深層ニューラルネットワークを、ユニタリ変換と絶対値演算の系列として数学的にどのようにモデル化できるか。
• RQ2 空間収縮は、ラベルなしデータ分布の体積を各層でどのように維持するか。
• RQ3 スキャattering変換は、深層学習におけるスパarsityおよび正則化とどのように関連するか。
• RQ4 平均化スキャattering変換は、単一のデータサンプルから期待スキャatteringの一貫した推定器を提供できるか。
• RQ5 スキャatteringネットワークの安定性および収束性について、どのような理論的保証を得られるか。

主な発見

• 期待スキャattering変換は、層を跨いでノルムが非増加となる入力確率分布の収縮的表現を定義する。
• ネットワークアーキテクチャは、入力の平均二乗ノルムを保存するため、表現におけるエネルギー保存を保証する。
• 空間収縮は、ラベルなし例が占める体積を維持するように最適化され、一般化およびスパarsityと関連づけられる。
• 平均化スキャattering変換は、期待スキャatteringの一貫した推定器を提供し、誤差バウンドはサンプル数に依存する。
• 理論的分析により、スキャattering変換が小刻みな摂動に対して収束し、安定することが証明され、ノルムの減衰はブロック平均化演算子に対して (1 - M⁻¹)ᵐ で有界である。
• この枠組みにより、スキャatteringネットワークとスパース正則化との数学的関連が確立され、スパarsityが深層ネットワークの性能向上に寄与する理由が説明される。