[論文レビュー] Invariant Scattering Convolution Networks

Joan Bruna, Stéphane Mallat|arXiv (Cornell University)|Mar 5, 2012

Image Retrieval and Classification Techniques被引用数 20

ひとこと要約

この論文は、ウェーブレット変換、絶対値非線形性、平均プーリングを用いて並進不変な画像表現を構築する深層学習アーキテクチャ、ウェーブレット散乱畳み込みネットワークを提案する。この手法は、フーリエスペクトルの2次モーメントを超える高次統計モーメントを捉えることで、手書き数字およびテクスチャ分類において最先端の性能を達成し、PCA分類器を用いてCUReTで最小0.2%の誤差率を達成した。

ABSTRACT

A wavelet scattering network computes a translation invariant image representation, which is stable to deformations and preserves high frequency information for classification. It cascades wavelet transform convolutions with non-linear modulus and averaging operators. The first network layer outputs SIFT-type descriptors whereas the next layers provide complementary invariant information which improves classification. The mathematical analysis of wavelet scattering networks explains important properties of deep convolution networks for classification. A scattering representation of stationary processes incorporates higher order moments and can thus discriminate textures having the same Fourier power spectrum. State of the art classification results are obtained for handwritten digits and texture discrimination, using a Gaussian kernel SVM and a generative PCA classifier.

研究の動機と目的

• 小さな変形に対して安定した並進不変な画像表現を構築し、フーリエベースの不変性の限界を克服すること。
• SIFTに類似した記述子を改善するため、高次統計情報を捉えるより深い層を導入すること。
• 深層畳み込みネットワークの分類タスクにおける成功の背後にある数学的根拠を提示すること。
• 散乱係数を用いて高次モーメントを組み込むことで、同じフーリエパワースペクトルを持つテクスチャを区別できること。
• 標準ベンチマークで単純なカーネルおよび生成的分類器を用いて、最先端の分類性能を示すこと。

提案手法

• 並進不変性を達成するために、連鎖するウェーブレット変換、絶対値演算、平均プーリングを用いた深層畳み込みネットワークを構築する。
• ウェーブレット係数をフィルタとして用いて局所的特徴を抽出し、その後に絶対値を適用して小さな変形に対して安定性を確保する。
• 空間領域における平均プーリングを適用して分散を低減し、複数のスケールおよび方向における不変表現を生成する。
• 定常過程に対して、2次統計量を超える高次モーメント（最大4次まで）を符号化する散乱表現を導入する。
• O(N log N) 時間で散乱係数を効率的に計算するため、縮小されたコサイン変換を用いる。次元数はSIFTと同等である。
• 散乱表現とPCAまたはSVM分類器を組み合わせ、交差検証を用いて分散低減のための最適なスケールパラメータを選択する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、小さな変形に対して安定で並進不変な表現を生成する深層畳み込みネットワークを設計できるか？
• RQ2 なぜ散乱ネットワークのより深い層が、1層目のSIFTに類似した記述子よりも分類性能を向上させるのか？
• RQ3 散乱ネットワークは、同じフーリエパワースペクトルを持つテクスチャを、高次統計モーメントを捉えることで区別できるか？
• RQ4 固定で学習しないウェーブレットベースのアーキテクチャが、標準画像分類ベンチマークで学習済みの深層ネットワークをどれほど上回れるか？
• RQ5 散乱表現は、SIFT、テクストン辞書、MRFモデルといった従来手法と比較して、正確性および安定性の面でどのように差をつけるか？

主な発見

• PCA分類器を用いた場合、$ m_{ ext{max}} = 2 $ でCUReTテクスチャデータセットで0.2%の誤差率を達成し、先行研究を上回った。
• $ m_{ ext{max}} = 1 $ の場合、誤差率は0.5%に低下し、1次散乱係数が窓関数を用いたフーリエスペクトルよりも優れたバイアス・バリアンスのトレードオフを提供することが示された。
• 散乱表現は4次モーメントを捉えており、図5に示すように、同じ2次統計量を持つテクスチャの区別が可能である。
• フーリエスペクトルベースラインを用いた場合、MNISTおよびUSPSで誤差率を1%まで低減し、SVMおよびMRFモデルによる先行SOTAを上回った。
• 散乱変換のサイズはSIFT記述子の最大3倍であり、$ O(N/\log N) $ の演算量で計算可能であり、計算的にも効率的である。
• 交差検証により、画像幅が最適スケール $ 2^J $ として選択された。これは、散乱推定の分散がスケールが増加するにつれて減少することを確認しており、フーリエスペクトルとは対照的である。