[論文レビュー] Translating Diffusion, Wavelets, and Regularisation into Residual Networks

Tobias Alt, Joachim Weickert+1 more|arXiv (Cornell University)|Feb 7, 2020

Neural Networks and Applications被引用数 6

ひとこと要約

本論文は、非線形拡散、ウェーブレットスhrinkage、変分正則化といった古典的ノイズ除去手法の離散的数値スキームを、特定のResNetブロックとして解釈することにより、それらを残差ネットワーク（ResNet）アーキテクチャに翻訳する理論的枠組みを確立する。主な貢献は、拡散係数、スクリーニング関数、正則化子を活性化関数にマッピングする辞書の構築であり、任意の深さの内在的に安定なResNetを可能にし、単調でないおよび反対称的な活性化関数を含む。これにより、PDE、ウェーブレット、深層学習のコミュニティが、保証された安定性を伴って統合される。

ABSTRACT

Convolutional neural networks (CNNs) often perform well, but their stability is poorly understood. To address this problem, we consider the simple prototypical problem of signal denoising, where classical approaches such as nonlinear diffusion, wavelet-based methods and regularisation offer provable stability guarantees. To transfer such guarantees to CNNs, we interpret numerical approximations of these classical methods as a specific residual network (ResNet) architecture. This leads to a dictionary which allows to translate diffusivities, shrinkage functions, and regularisers into activation functions, and enables a direct communication between the four research communities. On the CNN side, it does not only inspire new families of nonmonotone activation functions, but also introduces intrinsically stable architectures for an arbitrary number of layers.

研究の動機と目的

• 古典的信号ノイズ除去手法と残差畳み込みニューラルネットワーク（ResNet）の間の明確な数学的関係を確立すること。
• 現代の畳み込みニューラルネットワーク（CNN）における理論的安定性の理解の欠如を、確立済みの手法から保証された安定性を移転することで解決すること。
• 拡散係数、スクリーニング関数、正則化子を活性化関数に変換する統一された辞書を構築することで、PDE、ウェーブレット、変分法、深層学習のコミュニティ間の対話を可能にすること。
• 非単調および反対称的活性化関数の有効性を示すことで、従来のCNN設計原理に挑戦すること。
• 経験的チューニングではなく、原理的な設計によって、新しいコンパクトで安定したCNNアーキテクチャの創出を促すこと。

提案手法

• Perona–Malik拡散、ハールウェーブレットスクリーニング、一次変分モデルの離散的数値近似を、固定された畳み込みカーネルを持つ特定の残差ネットワークブロックに再定式化する。
• これらのResNetブロック内の活性化関数は、拡散フィルタのフラックス関数、ウェーブレットのスクリーニング関数、正則化子の部分勾配から直接導出される。
• 非線形拡散、ウェーブレットベースのスクリーニング、変分正則化の3つの古典的手法のクラスを、統一的な数学的定式化を用いて同等のResNetコンponentsに翻訳する。
• 元のノイズ除去アルゴリズムから継承される安定性特性のおかげで、スタックされたブロックの数に関わらず、内在的に安定であることを保証する。
• 離散的設定において数学的に適切であることが示されることで、非単調および反対称的活性化関数の使用が可能になる。
• 学習された畳み込み重みを避ける代わりに、確立された数学的モデルに基づいて活性化関数を設計することに焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 非線形拡散、ウェーブレットスクリーニング、変分正則化といった古典的手法を、残差ネットワークアーキテクチャに体系的かつ一貫して翻訳することは可能か？
• RQ2 これらの手法から導出された非単調および反対称的活性化関数は、深層ネットワークにおいても安定性を保つのか？
• RQ3 PDEに基づくおよび変分的手法の離散的定式化は、保証された安定性を持つResNetブロックとして解釈可能か？
• RQ4 非単調活性化関数が深層学習において歴史的に軽視されてきたにもかかわらず、その理論的根拠は何か？
• RQ5 PDE、ウェーブレット、変分法、深層学習の4つの研究コミュニティは、神経ネットワーク設計における共通の数学的言語を通じてどのように統合できるか？

主な発見

• Perona–Malik拡散、ハールウェーブレットスクリーニング、一次変分モデルの離散的スキームは、すべて固定された畳み込みカーネルと導出された活性化関数を持つ特定のResNetブロックとして表現可能である。
• これらのブロックで構成されるResNetsは、元のノイズ除去手法の安定性を引き継ぎ、任意の層数においても適切に定義され、耐障害性を有する。
• ガローテ・スクリーニングやハードスレッショーティングから導出される非単調活性化関数は、離散的ResNetフレームワークにおいて数学的に妥当かつ安定であり、深層学習における単調性の優位性に挑戦する。
• 反対称的活性化関数がこの定式化から自然に出現し、従来のCNNではあまり検討されていなかった新たなアーキテクチャ的可能性を提供する。
• このフレームワークは、PDE、ウェーブレット、変分法の研究者らが自らの手法を直接ニューラルネットワークコンponentsに翻訳できる辞書を提供する。
• 非凸正則化子や非単調フラックス関数が適切に離散化されれば、安定性が損なわれないことが示され、アーキテクチャ設計の新たな道が開かれる。