[論文レビュー] Generic Deep Networks with Wavelet Scattering

Edouard Oyallon, Stéphane Mallat+1 more|arXiv (Cornell University)|Dec 23, 2013

Remote-Sensing Image Classification参考文献 9被引用数 9

ひとこと要約

本論文は、空間的ウェーブレット変換の後に空間的・角度的・スケール的次元にわたる共同ウェーブレット変換を適用する、2層構造の学習なしウェーブレットスキャatteringネットワークを提案する。この手法は、トレーニングを一切行わずCaltechデータセットで優れた性能を達成しており、汎用的なディープ表現学習における不変スキャattering特徴の有効性を示している。

ABSTRACT

We introduce a two-layer wavelet scattering network, which involves no learning, for object classification. This scattering transform computes a spatial wavelet transform on the first layer and a joint wavelet transform along spatial, angular and scale variables in the second layer. Image classification results are given on Caltech databases.

研究の動機と目的

• トレーニングを必要としない汎用的なディープネットワークを、物体分類用に開発すること。
• 2層構造における固定された不変特徴抽出器としてウェーブレットスキャattering変換を活用することの検討。
• この固定ネットワークの標準ベンチマークデータセット（例：Caltech）における性能評価。
• 空間的・角度的・スケール的変数にわたる共同ウェーブレット変換が、分類のロバストネスを向上させるかどうかの調査。

提案手法

• 1層目は、入力画像から局所的で並進不変特徴を抽出するための空間的ウェーブレット変換を適用する。
• 2層目は、空間的・角度的・スケール的変数にわたる共同ウェーブレット変換を計算し、微小な変形に対して不変性を向上させる。
• 学習や最適化を一切行わず、事前に定義されたウェーブレットフィルタに依存する固定数学的変換を用いる。
• 2層目のスキャattering係数を、線形分類器用の固定特徴として使用する。
• エネルギーを保存し、入力の微小な摂動に対して安定性を保つようにアーキテクチャを設計する。
• ウェーブレットの数学的性質を活用して、バックプロパゲーションなしに階層的で不変な表現を生成する。

実験結果

リサーチクエスチョン

• RQ1 2層構造のウェーブレットスキャatteringネットワークは、学習なしに競争力のある分類精度を達成できるか？
• RQ2 空間的・角度的・スケール的変数にわたる共同ウェーブレット変換は、特徴の不変性をどのように向上させるか？
• RQ3 この固定ネットワークは、標準的な物体認識ベンチマーク（例：Caltech）でどの程度の性能を示すか？
• RQ4 ロバストネスと一般化性能の観点から、スキャattering特徴は学習されたディープ特徴と比べてどうか？

主な発見

• 2層構造のウェーブレットスキャatteringネットワークは、トレーニングやパrameterチューニングなしにCaltechデータセットで優れた分類性能を達成した。
• 空間的・角度的・スケール的変数にわたる共同ウェーブレット変換により、不変性が向上し、特徴表現の質が向上した。
• 固定で学習なしのアーキテクチャは、空間的ウェーブレット変換のみを用いたベースライン手法を上回った。
• 本手法は、ウェーブレット変換による数学的不変性が、物体分類において競争力のある結果をもたらす可能性を示した。