[論文レビュー] Deep Roto-Translation Scattering for Object Classification

Edouard Oyallon, Stéphane Mallat|arXiv (Cornell University)|Dec 30, 2014

Advanced Image and Video Retrieval Techniques参考文献 26被引用数 7

ひとこと要約

この論文は、空間的および角度的画像変動をモデル化するために事前に定義された複素ウェーブレットフィルタを活用する、深層回転平行移動スキャatteringネットワークを提案する。CaltechおよびCIFARデータセットにおいて、学習を伴わない手法の中で最先端の性能を達成した。このアプローチにより、79.9%（CIFAR-100）および82.3%（Caltech-256）の競争力ある正確度が得られ、教師あり学習を伴わない条件下でも幾何的事前知識が画像分類性能を顕著に向上させられることを示している。

ABSTRACT

Dictionary learning algorithms or supervised deep convolution networks have considerably improved the efficiency of predefined feature representations such as SIFT. We introduce a deep scattering convolution network, with predefined wavelet filters over spatial and angular variables. This representation brings an important improvement to results previously obtained with predefined features over object image databases such as Caltech and CIFAR. The resulting accuracy is comparable to results obtained with unsupervised deep learning and dictionary based representations. This shows that refining image representations by using geometric priors is a promising direction to improve image classification and its understanding.

研究の動機と目的

• 教師あり学習を必要とせずに、平行移動および回転不変性といった幾何的事前知識を組み込んだ深層畳み込みネットワークの構築を目的とする。
• ウェーブレットベースのスキャattering変換を用いてスケール-角度の共同相互作用をモデル化することで、従来の手作業特徴量（例：SIFT）を改善することを目的とする。
• 洗練された幾何的理解が、教師なし深層学習や辞書学習手法と同等の分類性能を達成できることを示すこと。
• 不安定性が一部の深層ネットワークで見られる問題を回避しつつ、必要な識別的情報を保持する安定で収縮性のある表現を提供すること。

提案手法

• 空間的および角度的変数における複素ウェーブレットフィルタを用いて、幾何的画像変動をモデル化する深層スキャatteringネットワークを構築する。
• モジュラス非線形性とサブサンプリングを組み合わせた畳み込み層のカスケードを適用し、階層的で平行移動不変な表現を構築する。
• 角度フィルタリングを組み込むことで回転平行移動不変性を実現し、完全な回転不変性を強制せずに回転変動を捉える。
• 教師あり特徴選択に直交最小二乗法を用い、最終分類には線形またはガウスカーネルSVMを適用する。
• 分離可能なスキャattering変換を採用し、剛体運動および透視変形を線形化することで、微小な摂動に対して安定性を確保する。
• スキャattering係数を計算し、ほぼ完全な表現を実現することで、高精度な画像再構成と識別的構造の保持を可能にする。

実験結果

リサーチクエスチョン

• RQ1 事前に定義された幾何的事前知識を有する深層スキャatteringネットワークは、SIFTのような従来の手作業特徴量を上回る物体分類性能を達成できるか？
• RQ2 平行移動および回転不変性を導入することで、学習を伴わない条件下で分類精度がどの程度向上するか？
• RQ3 標準ベンチマークにおいて、スキャatteringベースの表現は、最先端の教師なし深層学習および辞書学習手法と比較してどうなるか？
• RQ4 ウェーブレットフィルタにスケール-角度の共同情報を取り入れることで、従来のSIFTに類似した記述子よりもより頑健で識別性の高い特徴量が得られるか？
• RQ5 学習を伴わない収縮性のあるウェーブレットベースのアーキテクチャは、複雑な物体認識タスクにおいて教師あり深層ネットワークと同等の性能を達成できるか？

主な発見

• 回転平行移動スキャatteringネットワークは、CIFAR-100で79.9%の正確度を達成し、すべての先行する非学習手法を上回り、最良の教師なし辞書学習手法と同等の性能を示した。
• Caltech-256では82.3%の正確度を達成し、最良の教師なし辞書学習手法（例：RFLで83.1%）をわずかに下回ったが、SIFTやランダムフィルタベースラインを著しく上回った。
• CIFAR-10では56.8%の正確度を達成し、RFL（54.2%）やNOMP（60.8%）を上回り、教師なし深層学習ベースラインと比較しても優れた性能を示した。
• スキャattering表現は、SIFT型特徴量やランダム重みの深層ネットワークを常に上回り、CIFAR-100ではランダムフィルタベースラインに対して17.3%の向上を達成した。
• 教師あり深層ネットワーク（例：ImageNetで微調整されたAlexNet）と同等の結果を達成しており、幾何的事前知識が分類に有用な一般的な画像特性を捉えられることを示している。
• このアーキテクチャは変形や加法的ノイズに対して安定であり、一部の深層ネットワークで見られる不安定性の問題を回避しており、情報損失は最終分類段階でのみ発生する。