[論文レビュー] Group Invariance, Stability to Deformations, and Complexity of Deep Convolutional Representations

Alberto Bietti, Julien Mairal|arXiv (Cornell University)|Jun 9, 2017

Neural Networks and Applications参考文献 56被引用数 58

ひとこと要約

論文は multilayer convolutional kernel (CKN) フレームワークを開発し、不変性、変形への安定性、深層畳み込み表現の複雑さを研究し、核 RKHS ノルムを一般化と CNN の安定性に結びつける。

ABSTRACT

The success of deep convolutional architectures is often attributed in part to their ability to learn multiscale and invariant representations of natural signals. However, a precise study of these properties and how they affect learning guarantees is still missing. In this paper, we consider deep convolutional representations of signals; we study their invariance to translations and to more general groups of transformations, their stability to the action of diffeomorphisms, and their ability to preserve signal information. This analysis is carried by introducing a multilayer kernel based on convolutional kernel networks and by studying the geometry induced by the kernel mapping. We then characterize the corresponding reproducing kernel Hilbert space (RKHS), showing that it contains a large class of convolutional neural networks with homogeneous activation functions. This analysis allows us to separate data representation from learning, and to provide a canonical measure of model complexity, the RKHS norm, which controls both stability and generalization of any learned model. In addition to models in the constructed RKHS, our stability analysis also applies to convolutional networks with generic activations such as rectified linear units, and we discuss its relationship with recent generalization bounds based on spectral norms.

研究の動機と目的

• 訓練データに依存しない深層表現の不変性と安定性の性質を特徴づける。
• 多層カーネル表現によって誘導される機能空間（RKHS）とCNNとの関係を分析する。
• 安定性と一般化を制御するノルムベースのモデル複雑さの指標を提供する。
• 一般的な CNN 活性化に対する安定性分析を拡張し、既存の一般化境界と関連づける。
• RKHS ノルムによる表現正則化が学習成果を改善する可能性を論じる。

提案手法

• パッチ抽出、カーネル写像、プーリング演算子から構築された multilayer convolutional kernel 表現を定義する。
• 同次ドット積カーネルを用いてパッチを RKHS に写像し、ノルムの保存と非拡張性を保証する。
• プーリングを用いた階層的カーネルを構築して、平移不変性と微分同相性への安定性を高める。
• RKHS に CNN が含まれることを示し、滑らかな同次活性化を持つ CNN を対象とし、畳み込みフィルタの層ごとのノルムを通じて RKHS ノルムを上界する。
• 非滑らかな活性化を持つ CNN へ分析を拡張し、安定性をスペクトルノルムの積と関連づける。

実験結果

リサーチクエスチョン

• RQ1 多層カーネル表現は、ディープ畳み込みアーキテクチャに対して平行移動不変性と微分同相性への安定性をどのように提供するか？
• RQ2 多層カーネルによって誘導される RKHS の性質は何か、どの CNN がそれに含まれるのか？
• RQ3 RKHS ノルムは、安定性と一般化に影響を与えるモデル複雑さの標準的な指標としてどう機能するか？
• RQ4 カーネル近似（CKN） は不変性と安定性の保証にどのような影響を与えるか？
• RQ5 グループ等変拡張は、安定性を維持しつつ、より広い変換群への不変性を生み出せるか？

主な発見

• multilayer kernel 表現は信号情報を保持し、定義されたノルム下でほぼ平行移動不変性と変形安定性を達成する。
• multilayer kernel に対応する RKHS は滑らかな同次活性化を持つ CNN の大きなクラスを含み、ノルムベースの複雑さ制御を可能にする。
• RKHS に構築された CNN の RKHS ノルムを、層ごとのスペクトルノルムと Frobenius ノルム、および活性化固有の複雑さ因子の組み合わせで上界する。
• kernel 近似（CKN）に対する安定性結果が拡張され、情報保持のトレードオフが生じる。
• ReLU のような一般的な活性化についても、スペクトルノルムの積を介して同様の安定性が議論でき、既存の一般化境界と結びつく。