[論文レビュー] Spectral Representations for Convolutional Neural Networks

Oren Rippel, Jasper Snoek+1 more|arXiv (Cornell University)|Jun 11, 2015

Sparse and Compressive Sensing Techniques参考文献 19被引用数 186

ひとこと要約

この論文は、離散フーリエ変換（DFT）を活用して畳み込みニューラルネットワーク（CNN）のスペクトル表現を導入し、スペクトルプーリングと複素数係数フィルタパラメータ化を可能にした。スペクトルプーリングは周波数成分を切断することで次元削減を実現し、マックスプーリングに比べてより多くの情報を保持しつつ、柔軟な出力サイズを可能にする。複素数係数のスペクトルパラメータ化は周波数ドメインにおけるスパarsityを活用することで、トレーニングの収束を2–5倍速くし、ドロップアウトやマックスプーリングなしで競争力のある性能を達成する。

ABSTRACT

Discrete Fourier transforms provide a significant speedup in the computation of convolutions in deep learning. In this work, we demonstrate that, beyond its advantages for efficient computation, the spectral domain also provides a powerful representation in which to model and train convolutional neural networks (CNNs). We employ spectral representations to introduce a number of innovations to CNN design. First, we propose spectral pooling, which performs dimensionality reduction by truncating the representation in the frequency domain. This approach preserves considerably more information per parameter than other pooling strategies and enables flexibility in the choice of pooling output dimensionality. This representation also enables a new form of stochastic regularization by randomized modification of resolution. We show that these methods achieve competitive results on classification and approximation tasks, without using any dropout or max-pooling. Finally, we demonstrate the effectiveness of complex-coefficient spectral parameterization of convolutional filters. While this leaves the underlying model unchanged, it results in a representation that greatly facilitates optimization. We observe on a variety of popular CNN configurations that this leads to significantly faster convergence during training.

研究の動機と目的

• 計算効率を超えて、周波数ドメインをCNNのモデリングとトレーニングの強力な表現として探求すること。
• マックスプーリングのような従来のプーリング手法に内在する情報損失と次元削減の不柔軟性を解消すること。
• フィルタをスペクトルドメインに再パラメータ化することで、CNNトレーニングの最適化効率を向上させること。
• 周波数成分の切断による制御可能な次元削減を可能にする、柔軟な解像度制御による次元削減を実現すること。
• スペクトル表現がドロップアウトやマックスプーリングに依存せずに、競争力のある性能を達成できることを示すこと。

提案手法

• DFTを特徴マップに適用した後、周波数表現の切断による次元削減を実現するスペクトルプーリングの提案。
• フィルタを周波数ドメインで直接学習し、逆DFTによって空間ドメインに変換する、複素数係数のスペクトルパラメータ化された畳み込みフィルタの導入。
• DFTのユニタリ性を活用し、スペクトル再パラメータ化下でもモデル容量が変化しないことを保証。
• トレーニング中に周波数成分を確率的に切断することで、確率的正則化の一種としてランダムな解像度変更を採用。
• Adam最適化手法を用いて、空間ドメインとスペクトルドメインのフィルタパラメータ化の収束速度を比較。
• FFTベースの畳み込みを既に使用するネットワークにおいて、スペクトルプーリングを行列の切断のみで実装でき、計算コストは無視できる。

実験結果

リサーチクエスチョン

• RQ1 従来のプーリングと比較して、周波数ドメインはCNNにおける次元削減のためのより情報量が多く効率的な表現を提供できるか？
• RQ2 スペクトルドメインでフィルタを学習することで、CNNトレーニングにおける最適化ダイナミクスと収束速度が向上するか？
• RQ3 スペクトルプーリングは、任意の出力次元に適合できるか、同時に情報の保持をどの程度維持できるか？
• RQ4 スペクトル表現は、ドロップアウトやマックスプーリングの必要性を低減または排除できるか？
• RQ5 スペクトルパラメータ化は、フィルタサイズやアーキテクチャが異なるCNNの最適化の多様性と収束行動にどのように影響を与えるか？

主な発見

• スペクトルプーリングは、特に信号エネルギーが低周波数に集中するため、マックスプーリングに比べてパラメータ1つあたりの情報保持量が顕著に高い。
• 周波数成分の制御された切断により、任意の希望する出力サイズを実現できる柔軟で非一様な次元削減が可能である。
• 複素数係数のスペクトルパラメータ化は、複数のCNNアーキテクチャとフィルタサイズにおいて、2–5倍の高速な収束を達成する。
• ドロップアウトやマックスプーリングを使用せずに、ベンチマークタスクにおいて競争力ある分類および近似性能を達成する。
• スペクトル表現は、フィルタの周波数成分におけるスパarsityを活用し、空間ドメイン表現よりも意味のある最適化方向を提供する。
• バッチ正則化と併用可能であり、FFTベースの畳み込みと組み合わせても効率性を維持する。