[論文レビュー] Harmonic Networks: Integrating Spectral Information into CNNs

Matej Uličný, Vladimir A. Krylov+1 more|arXiv (Cornell University)|Dec 7, 2018

Human Pose and Action Recognition参考文献 28被引用数 6

ひとこと要約

本論文は、畳み込みニューラルネットワーク（CNN）における従来の畳み込み層に代わるハーモニックブロックを提案する。このブロックは、離散コサイン変換（DCT）のスペクトル係数の最適な組み合わせを学習することで、グローバルなスペクトル情報の効率的な統合を可能にする。周波数の切り捨てによりモデルサイズを削減しつつ、CIFAR10、CIFAR100、NORBにおいて最先端または同等の性能を達成し、一般化性能と照度不変性の向上を示している。

ABSTRACT

Convolutional neural networks (CNNs) learn filters in order to capture local correlation patterns in feature space. In contrast, in this paper we propose harmonic blocks that produce features by learning optimal combinations of spectral filters defined by the Discrete Cosine Transform. The harmonic blocks are used to replace conventional convolutional layers to construct partial or fully harmonic CNNs. We extensively validate our approach and show that the introduction of harmonic blocks into state-of-the-art CNN baseline architectures results in comparable or better performance in classification tasks on small NORB, CIFAR10 and CIFAR100 datasets.

研究の動機と目的

• 標準CNNがグローバルなスペクトルパターンを捉えることの制限を解消するため、周波数ドメイン表現を統合すること。
• DCTフィルタ応答の組み合わせを学習する新しいアーキテクチャ的ブロックを構築すること。
• 中間特徴における高周波DCT係数の切り捨てにより、性能を損なわずにモデルの複雑さを低減すること。
• スペクトル学習の分類精度および照度変化へのロバストネスに与える影響を評価すること。
• ハーモニックネットワークが、パrameter数を著しく削減しながらも、深層CNNベースラインを上回るか同等の性能を達成できることを示すこと。

提案手法

• ハーモニックブロックは、入力および特徴マップに適用された窓付きDCTフィルタの応答の重み付き和を計算することで、標準の畳み込み層に置き換える。
• 小さな受容 field 内でDCT係数の学習可能な線形結合を用いることで、スペクトル特徴統合のエンド・ツー・エンド学習を可能にする。
• すべての層で周波数ドメインで動作し、周波数情報を保持しながら最適なスペクトル重みを学習する。
• 高周波DCT係数の切り捨てによりモデル圧縮を達成し、パrameterを最大33％まで削減しつつ、精度損失を最小限に抑える。
• スペクトル表現での学習時に特に正則化を向上させるために、ハーモニックブロック間にドロップアウトを適用する。
• ワイドリサンネット（WRN）アーキテクチャに統合し、畳み込み層をハーモニックブロックに置き換えることで、完全にハーモニックネットを構築する。

実験結果

リサーチクエスチョン

• RQ1 標準畳み込みフィルタと比較して、DCTスペクトル係数の組み合わせを学習することで、CNNにおける特徴表現が向上するか？
• RQ2 ハーモニックブロックによるスペクトル情報の統合は、小規模な画像データセットにおける分類精度の向上に寄与するか？
• RQ3 どの程度まで高周波DCT係数を切り捨てても性能が劣化せず、モデル圧縮が可能か？
• RQ4 標準CNNと比較して、ハーモニックネットは照度変化に対してどの程度ロバストか？
• RQ5 ハーモニックネットは、顕著に少ないパrameter数で、深層CNNと同等またはより優れた性能を達成できるか？

主な発見

• λ=3（3×3 DCTスペクトル）の完全なハーモニックWRNは、フルスペクトルベースラインと同等のテスト誤差を達成しながら、パラメータを約33％削減した。
• λ=2（2×2スペクトル）のハーモニックネットは、ベースラインWRN-28-10の約3倍小さく、CIFAR100ではWRN-28-6を上回った。これは、高周波成分が識別に寄与する情報を保持していることを示唆している。
• 正規化されたRGBスペクトルで学習したハーモニックネットは、CIFAR10およびCIFAR100の両方で標準WRNベースラインを上回り、特徴学習の向上を示している。
• ハーモニックネットの深層部では、低周波成分を優先的に学習する傾向が見られ、表現学習における周波数階層構造が存在する可能性がある。
• 訓練時間とメモリ使用量がやや高いものの、圧縮されたハーモニックネットは、処理数が減少するためCPU推論が高速化された。
• 本手法は照度不変性を示しており、入力画像の明度変動に対してロバストであることが示された。