[論文レビュー] Scaling the Scattering Transform: Deep Hybrid Networks

Edouard Oyallon, Eugene Belilovsky+1 more|SPIRE - Sciences Po Institutional REpository|Mar 27, 2017

Advanced Neural Network Applications参考文献 26被引用数 20

ひとこと要約

本論文は、学習可能な畳み込みフィルタの代わりに、固定で事前定義された特徴抽出器として散乱変換（scattering transform）を早期のネットワーク層に使用するハイブリッドディープラーニングフレームワークを提案する。散乱特徴と学習可能な1×1畳み込みの浅い段階的構造を組み合わせることで、ImageNet ILSVRC2012でAlexNetレベルの精度を達成し、ResNetを用いて10層で11.4%のtop-5誤差を達成する。CIFAR-10およびSTL-10の低データ環境において、エンドツーエンドモデルを上回る性能を示す。

ABSTRACT

We use the scattering network as a generic and fixed ini-tialization of the first layers of a supervised hybrid deep network. We show that early layers do not necessarily need to be learned, providing the best results to-date with pre-defined representations while being competitive with Deep CNNs. Using a shallow cascade of 1 x 1 convolutions, which encodes scattering coefficients that correspond to spatial windows of very small sizes, permits to obtain AlexNet accuracy on the imagenet ILSVRC2012. We demonstrate that this local encoding explicitly learns invariance w.r.t. rotations. Combining scattering networks with a modern ResNet, we achieve a single-crop top 5 error of 11.4% on imagenet ILSVRC2012, comparable to the Resnet-18 architecture, while utilizing only 10 layers. We also find that hybrid architectures can yield excellent performance in the small sample regime, exceeding their end-to-end counterparts, through their ability to incorporate geometrical priors. We demonstrate this on subsets of the CIFAR-10 dataset and on the STL-10 dataset.

研究の動機と目的

• ディープネットワークの早期層が、性能を損なわず効率性と解釈可能性を向上させるために、固定で事前定義された表現に置き換え可能かどうかを調査すること。
• 幾何的不変性と安定性で知られる散乱ネットワークが、教師ありディープラーニングの一般的な初期化として有効かどうかを評価すること。
• 散乱と学習可能な層を組み合わせたハイブリッドアーキテクチャが、低データ環境においてエンドツーエンド学習モデルを上回ることを実証すること。
• 散乱係数を効果的にマッピングするための軽量で解釈可能な局所符号化器としての1×1畳み込みを設計すること。
• 散乱ネットワークに事前定義された幾何的事前知識を組み込むことで、大幅に少ないパラメータ数と層数で競争力のある性能が得られることを示すこと。

提案手法

• ウェーブレットフィルタと局所平均を用いて、数学的に根拠のある固定された特徴抽出器として散乱変換を用い、並進および微小回転に対して不変性を提供する。
• 散乱係数を符号化するための浅い1×1畳み込み層の段階的構造を適用し、散乱ネットワークの更新なしに空間的に局所化された表現を学習する。
• 小さな空間窓上で散乱係数を処理する共有局所符号化器を採用し、局所的回転に対して明示的に不変性を学習する。
• 散乱表現と現代的なResNetアーキテクチャを組み合わせ、ImageNetで競争力のある性能を達成するためにわずか10層のみを用いる。
• 学習率の減少を適用した確率的勾配降下法を用いて、ハイブリッドネットワークをエンドツーエンドで学習し、標準的なデータ拡張およびクロスバリデーションプロトコルを適用する。
• ImageNet ILSVRC2012、CIFAR-10（小規模サンプル環境）、STL-10における性能を評価し、エンドツーエンドモデルおよび自己教師あり事前学習ベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 固定で事前定義された表現（例：散乱変換）が、性能を損なわず学習可能な早期層に置き換え可能かどうか。
• RQ2 散乱係数上での浅い学習可能な1×1畳み込みエンコーダーが、局所的回転に対してどの程度不変性を達成し、分類精度を向上させられるか。
• RQ3 散乱とディープCNNを組み合わせたハイブリッドアーキテクチャは、エンドツーエンド学習モデルと比較して、精度およびデータ効率の点でどの程度優れているか。
• RQ4 散乱ベースの特徴が、CIFAR-10やSTL-10のような低データ環境において、自己教師あり事前学習手法を上回ることができるか。
• RQ5 幾何的事前知識をディープラーニングパイプラインに組み込むことで、モデルの解釈可能性と一般化性能にどのような影響を与えるか。

主な発見

• 提案されたハイブリッドネットワークは、10層のみでImageNet ILSVRC2012で11.4%のtop-5誤差を達成し、固定された散乱変換を用いた早期特徴抽出に依存しながらも、ResNet-18と同等の性能を示した。
• 散乱係数上に浅い1×1畳み込みエンコーダーを適用することで、ImageNet ILSVRC2012でAlexNetレベルの精度を達成し、判別的表現学習における局所符号化の有効性を示した。
• STL-10データセット（ラベル付きデータ5,000件）において、全ラベル付きデータセットを用いて学習した場合、87.6%のテスト精度を達成し、10万件のラベルなしデータを用いた自己教師あり事前学習手法を上回った。
• CIFAR-10の小規模サブセットにおいて、ハイブリッドアーキテクチャはエンドツーエンドモデルを上回り、事前定義された幾何的事前知識が低データ環境において特に有益であることを示した。
• 学習された1×1畳み込みエンコーダーが局所的回転に対して明示的な不変性を示すことは、論文で実証的に検証された。
• 著者らは、散乱変換の高度に最適化されたGPU実装および事前学習済みハイブリッドモデルを公開しており、このようなアーキテクチャの高速なトレーニングとデプロイメントを可能にしている。