[論文レビュー] Hartley Spectral Pooling for Deep Learning

Hao Zhang, Jianwei Ma|arXiv (Cornell University)|Oct 7, 2018

Neural Networks and Applications参考文献 35被引用数 16

ひとこと要約

本論文は、畳み込みニューラルネットワーク（CNN）における従来のmax/平均プーリングやストライド付き畳み込みの代わりに、特徴マップをハーテーリー周波数ドメインに変換し、高周波成分を切り詰めた後、元の空間ドメインに戻すことで次元削減を実現する実数値のスペクトルプーリング手法、Hartley Spectral Pooling（HSP）を提案する。HSPは従来のプーリング手法よりも構造的情報をより保持するため、MNIST、Fashion-MNIST、CIFAR-10において収束が速く、精度が向上し、MNISTでは0.32%、CIFAR-10では8.63%のテスト誤差を達成する。また、フーリエベースの手法で用いられる複素数演算を回避する。

ABSTRACT

In most convolution neural networks (CNNs), downsampling hidden layers is adopted for increasing computation efficiency and the receptive field size. Such operation is commonly so-called pooling. Maximation and averaging over sliding windows (max/average pooling), and plain downsampling in the form of strided convolution are popular pooling methods. Since the pooling is a lossy procedure, a motivation of our work is to design a new pooling approach for less lossy in the dimensionality reduction. Inspired by the Fourier spectral pooling(FSP) proposed by Rippel et. al. [1], we present the Hartley transform based spectral pooling method in CNNs. Compared with FSP, the proposed spectral pooling avoids the use of complex arithmetic for frequency representation and reduces the computation. Spectral pooling preserves more structure features for network's discriminability than max and average pooling. We empirically show that Hartley spectral pooling gives rise to the convergence of training CNNs on MNIST and CIFAR-10 datasets.

研究の動機と目的

• maxまたは平均プーリングよりも構造的情報をより多く保持する、CNN向けの低損失次元削減手法の設計。
• フーリエに基づく複素数値スペクトルプーリングの限界（虚数部の取り扱いや共役対称性の必要性）を克服すること。
• ハーテーリー変換を用いた実数値の代替手法を提案し、計算効率と標準CNNとの互換性を維持すること。
• 周波数ドメインにおける情報のより良い保持が、深層ネットワークの学習収束と一般化性能を向上させるかどうかを調査すること。
• フーリエベースおよびDCTベースのスペクトルプーリング、および標準的なmax/平均プーリングやストライド付き畳み込みと比較して、HSPの性能と効率を評価すること。

提案手法

• 各特徴マップに離散ハーテーリー変換（DHT）を適用し、空間データを実数値周波数成分に変換する。
• DHTスペクトルの高周波成分を切り詰め、低周波成分のみを保持することでローパスフィルタリングを実行する。
• 切り詰めたスペクトルを逆変換して空間ドメインに戻し、次元削減されたダウンサンプリングされた特徴マップを生成する。
• ハーテーリー変換が完全に実数値で動作するため、複素数演算を完全に回避し、実装の簡略化と計算オーバーヘッドの低減を実現する。
• 特定のダウンサンプリング段階で、ストライド付き畳み込みやプーリング層をHSP層に置き換えることで、残差ネットワーク（ResNet）に統合する。
• 各HSP層の出力次元は設定可能（例：20×20、12×12、4×4）であり、空間的削減の柔軟な制御が可能である。

実験結果

リサーチクエスチョン

• RQ1 ハーティー変換を用いたスペクトルプーリングは、CNNにおけるmaxまたは平均プーリングよりも優れた特徴保持と分類精度をもたらすか？
• RQ2 ハーティー周波数スペクトルプーリングは、標準的なプーリングやストライド付き畳み込みと比較して、深層ネットワークの学習収束速度と安定性を向上させるか？
• RQ3 精度、学習時間、パラメータ効率の観点から、ハーティー周波数スペクトルプーリングはフーリエベースおよびDCTベースのスペクトルプーリングと比較してどの程度の性能を示すか？
• RQ4 スペクトルプーリングにおける実数値変換の使用は、複素数演算や共役対称性補正の必要性を排除し、実装を簡素化するか？
• RQ5 HSPは現代の残差ネットワークにアーキテクチャの大幅な見直しを伴わずに効果的に統合可能か？また、一般化性能を維持または向上させるか？

主な発見

• Hartley Spectral Pooling（HSP）は、MNISTで0.32%のテスト誤差を達成し、ResNet20（0.36%）およびResNet16（0.36%）を上回った。パラメータ数は15%削減された。
• Fashion-MNISTでは、HSPは6.26%（最良）のテスト誤差を記録し、ResNet20の6.91%を下回ったが、1エポックあたりの学習時間が30%増加した。
• CIFAR-10では、HSPは8.63%のテスト誤差を達成し、ResNet16（8.87%）およびDCTSP-ResNet15（8.81%）を上回ったが、学習時間は1000秒以上長くなった。
• トレーニング曲線から、HSPは初期学習段階で収束が速いことが示され、最適化ダイナミクスの向上が裏付けられた。
• DCTSPよりわずかに精度が低かったが、HSPは著しく高速であり、Fashion-MNISTではDCTSPの約半分の学習時間、CIFAR-10では半分未満の学習時間であった。
• 本手法は、周波数ドメインにおける情報のより良い保持が、深層ネットワークにおける識別能の向上とより良い一般化性能の支援に寄与することを示した。