[論文レビュー] Discrete Deep Feature Extraction: A Theory and New Architectures

Thomas Wiatowski, Michael Tschannen+3 more|arXiv (Cornell University)|May 26, 2016

Face and Expression Recognition参考文献 23被引用数 10

ひとこと要約

本稿は、特徴抽出を目的とした離散的深層畳み込みニューラルネットワーク（DCNN）の数学的理論を構築し、局所的およびグローバルな特徴ベクトルの性質を分析する新しいアーキテクチャを導入する。一般のフィルタ、リプシッツ連続非線形性、プーリング演算子に対して、変形および平行移動感度の境界を確立し、ネットワークの深さが内在的な不変性と安定性をもたらすことを示し、数字分類および顔面特徴点検出の実験により検証された。特徴の重要度分析も併せて実施した。

ABSTRACT

First steps towards a mathematical theory of deep convolutional neural networks for feature extraction were made---for the continuous-time case---in Mallat, 2012, and Wiatowski and Bölcskei, 2015. This paper considers the discrete case, introduces new convolutional neural network architectures, and proposes a mathematical framework for their analysis. Specifically, we establish deformation and translation sensitivity results of local and global nature, and we investigate how certain structural properties of the input signal are reflected in the corresponding feature vectors. Our theory applies to general filters and general Lipschitz-continuous non-linearities and pooling operators. Experiments on handwritten digit classification and facial landmark detection---including feature importance evaluation---complement the theoretical findings.

研究の動機と目的

• 離散的深層畳み込みニューラルネットワーク（DCNN）の特徴抽出に関する厳密な数学的枠組みを構築すること。
• 入力信号の構造的性質（例：コマツール関数）が学習された特徴ベクトルにどのように反映されるかを分析すること。
• 局所的およびグローバルな特徴表現の両方に対して、変形および平行移動感度の理論的境界を確立すること。
• 特定のネットワーク層の部分集合から特徴ベクトルを構築する新しいDCNNアーキテクチャを導入・分析すること。
• 手書き数字分類および顔面特徴点検出の実験を通じて理論的知見を検証し、特徴の関連性分析を併記すること。

提案手法

• 一般のフィルタ、リプシッツ連続非線形性（例：ReLU、シグモイド、絶対値）およびリプシッツ連続プーリング演算子（例：平均プーリング、マックスプーリング）を用いた離散的時間のDCNNの数学的フレームワークを提案する。
• 特定の層のサブセットから特徴ベクトルを抽出する新しいネットワークアーキテクチャを導入し、局所的（各層ごと）およびグローバル的（複数層の統合）な特徴表現を区別する。
• ネットワークアーキテクチャの性質に依存するが、特定のフィルタや非線形性の選択に依存しない、平行移動および変形感度の理論的境界を導出する。
• サンプル化されたコマツール関数に理論を適用し、特徴抽出器のリプシッツ連続性が変形感度の有界性を示すことを証明する。
• 分類および局所化タスクにランダムフォレスト（RF）を用い、特徴の重要度を層およびウェーブレットスケールにわたる累積的関連性で評価する。
• 理論的分析には1次元信号モデルを用い、高次元への拡張は直ちに可能である。

実験結果

リサーチクエスチョン

• RQ1 離散的DCNNにおける局所的およびグローバルな特徴ベクトルの性質は、入力信号の構造的特徴（例：コマツール関数）とどのように関係するか？
• RQ2 一般のフィルタおよび非線形性を有する離散的DCNNにおいて、ネットワークの深さがどの程度平行移動不変性および変形安定性を誘導するか？
• RQ3 プーリングの種別や層ごとの特徴集約の方法といった、異なるアーキテクチャ的選択が特徴の感度および分類性能に与える影響はいかほどか？
• RQ4 個々のネットワーク層が、数字分類や特徴点検出といった下流タスクにおける特徴の重要度を決定づける役割は何か？
• RQ5 リプシッツ連続性に基づく理論的感度境界は、実用的なディープラーニング応用において実証的に検証可能か？

主な発見

• 顔面特徴点検出において、層1の特徴が性能に最も寄与しており、深さが進むにつれて重要度が低下しており、微細な初期段階の特徴が好まれていることが示された。
• ずれのないMNISTデータを用いた手書き数字分類では、層2と層3の特徴が累積的に0.261および0.090の重要度を示し、層0よりも顕著に寄与しており、より深い層がより判別力のある特徴を捉えていることを示唆している。
• 平行移動されたMNIST画像に対しては、層3の特徴が累積的62.2%の重要度を占め、平均プーリングおよびアーキテクチャ的不変性のおかげで、より深い層が入力シフトに対してより頑健であることが示された。
• 理論的分析により、平均プーリング下でネットワークの深さが増すと平行移動感度が低下することが確認され、深い層の観察された頑健性を説明できた。
• 特徴の重要度分析から、局所化タスクでは細かい入力グリッド上の共変表現が求められるため、初期層が好まれるのに対し、分類タスクではより不変な深い特徴が利益をもたらすことが分かった。
• 提案された理論は、特徴抽出器のリプシッツ連続性が有界な変形感度をもたらすことを的確に予測し、数字分類および特徴点検出の両タスクで実証された。