[論文レビュー] DCT Perceptron Layer: A Transform Domain Approach for Convolution Layer

Hongyi Pan, Xin Zhu+2 more|arXiv (Cornell University)|Nov 15, 2022

Neural Networks and Applications被引用数 5

ひとこと要約

本論文は、DCT畳み込み定理を活用してDCTドメインで畳み込みに類似した演算を要素ごとの乗算で実行する、DCT感知パーセプトロン層という新しい変換ドメインニューラルネットワーク層を提案する。この層は、ResNet内の$3\times3$ Conv2D層に置き換えるもので、パrameterを32%以上削減し、MACsを32%以上削減しながら、ImageNet-1Kで同等の精度を維持する。また、バッチ正規化を施したグローバル平均プーリングの直後に挿入することで、さらに精度を向上させることができる。

ABSTRACT

In this paper, we propose a novel Discrete Cosine Transform (DCT)-based neural network layer which we call DCT-perceptron to replace the $3 imes3$ Conv2D layers in the Residual neural Network (ResNet). Convolutional filtering operations are performed in the DCT domain using element-wise multiplications by taking advantage of the Fourier and DCT Convolution theorems. A trainable soft-thresholding layer is used as the nonlinearity in the DCT perceptron. Compared to ResNet's Conv2D layer which is spatial-agnostic and channel-specific, the proposed layer is location-specific and channel-specific. The DCT-perceptron layer reduces the number of parameters and multiplications significantly while maintaining comparable accuracy results of regular ResNets in CIFAR-10 and ImageNet-1K. Moreover, the DCT-perceptron layer can be inserted with a batch normalization layer before the global average pooling layer in the conventional ResNets as an additional layer to improve classification accuracy.

研究の動機と目的

• 深層畳み込みネットワーク（例：ResNet）の計算コストとパラメータ数を精度を損なわず低減すること。
• 離散コサイン変換（DCT）を用いたより効率的な変換ドメイン代替により、標準の$3\times3$ Conv2D層を置き換えること。
• バックプロパゲーションを用いてDCTドメインでネットワークフィルタをエンドツーエンド学習可能にする仕組みを提供すること。
• 高速な実数値DCTと要素ごとの演算を活用し、エッジデバイス向けのモデル効率を向上させること。
• より優れた特徴学習が可能な、DCTドメインにおける学習可能なソフトスレッショーディングを非線形関数として活用することの検討。

提案手法

• DCT感知パーセプトロン層は、DCT係数と学習可能なフィルタ係数の要素ごとの乗算により、DCTドメインで畳み込み演算を実行する。これはDCT畳み込み定理を活用している。
• 非線形関数として学習可能なソフトスレッショーディング関数を採用し、周波数ドメインでの有効な活性化学習を可能にしている。
• 前向きおよび逆方向のDCT（DCTとIDCT）変換を用いて実装されており、効率性を高めるために高速$O(N\log_2 N)$アルゴリズムが使用されている。
• DCTベースの層は、空間的およびチャネル特化を保ちながら、残差ブロック内の$3\times3$ Conv2D層の代わりに挿入されている。
• $1\times1$ Conv2D層をDCT変換後に配置し、チャネル間での特徴変換とパラメータ共有を可能にしている。
• グローバル平均プーリングの直前にバッチ正規化を施した追加のDCT感知パーセプトロン層を挿入することで、計算コストをほとんど増加させずに精度をさらに向上させている。

実験結果

リサーチクエスチョン

• RQ1 要素ごとの乗算を用いて、DCTドメインで畳み込み演算を効率的かつ正確に実行でき、空間畳み込みの代替として機能するか？
• RQ2 画像分類ベンチマークにおいて、DCTベースの層は標準のConv2D層と比較して、精度、パラメータ数、MACsの観点でどの程度の性能を示すか？
• RQ3 DCTドメインにおける学習可能なソフトスレッショーディングは、ReLUに類似した非線形性を効果的に置き換えられ、表現能力を維持できるか？
• RQ4 Conv2D層をDCT感知パーセプトロン層に置き換えることで、CIFAR-10およびImageNet-1Kでモデルの複雑さを低減しつつ、精度を損なわないか？
• RQ5 グローバル平均プーリングの直前に追加のDCT感知パーセプトロン層を挿入することで、既存のResNetsの精度を向上させられるか？

主な発見

• CIFAR-10では、DCT感知パーセプトロン層によりパラメータが44.39%削減され、ベースラインのResNet-20と比較して精度は-0.07%以内に保たれた。
• CIFAR-10では、ベースラインと比較して26.64%のパラメータ削減と同時に0.09%の精度向上を達成した。
• ImageNet-1Kでは、DCT-ResNet-50モデルがパラメータを28.5%、MACsを32.8%削減し、センタークロップtop-1精度は0.89%の低下にとどまった。
• トライポッドDCT-ResNet-50バージョンでは、パラメータを21.1%、MACsを32.6%削減し、top-1精度は75.52%（ベースラインは76.06%）を維持した。
• グローバル平均プーリングの直前に追加のDCT感知パーセプトロン層を挿入することで、ResNet-18のtop-1精度は69.76%から70.50%に向上し、パラメータはたった2.3%増加した。
• 追加のDCT層により、ResNet-50のtop-5精度は92.85%から93.80%に向上し、パラメータは16.4%増加、MACsはほとんど増加しなかった。