[논문 리뷰] DCT Perceptron Layer: A Transform Domain Approach for Convolution Layer

Hongyi Pan, Xin Zhu외 2명|arXiv (Cornell University)|2022. 11. 15.

Neural Networks and Applications인용 수 5

한 줄 요약

이 논문은 DCT 퍼셉트론 레이어를 제안한다. 이는 DCT 변환 정리에 기반해 요소 간 곱셈을 사용해 DCT 도메인에서 컨벌루션 유사 연산을 수행함으로써 ResNet 내 $3\times3$ Conv2D 레이어를 대체하는 새로운 변환 도메인 신경망 레이어이다. 이 방법은 ImageNet-1K에서 정확도를 유지하면서 파라미터를 21% 이상, MACs를 32% 이상 감소시켰으며, 배치 정규화를 거친 후 전역 평균 풀링 이후에 삽입할 경우 정확도를 더욱 향상시킬 수 있다.

ABSTRACT

In this paper, we propose a novel Discrete Cosine Transform (DCT)-based neural network layer which we call DCT-perceptron to replace the $3 imes3$ Conv2D layers in the Residual neural Network (ResNet). Convolutional filtering operations are performed in the DCT domain using element-wise multiplications by taking advantage of the Fourier and DCT Convolution theorems. A trainable soft-thresholding layer is used as the nonlinearity in the DCT perceptron. Compared to ResNet's Conv2D layer which is spatial-agnostic and channel-specific, the proposed layer is location-specific and channel-specific. The DCT-perceptron layer reduces the number of parameters and multiplications significantly while maintaining comparable accuracy results of regular ResNets in CIFAR-10 and ImageNet-1K. Moreover, the DCT-perceptron layer can be inserted with a batch normalization layer before the global average pooling layer in the conventional ResNets as an additional layer to improve classification accuracy.

연구 동기 및 목표

• 정확도를 훼손하지 않으면서 ResNet과 같은 깊은 컨volution 네트워크의 계산 및 파라미터 부담을 줄이기 위해.
• 이산余弦변환(DCT)을 사용해 표준 $3\times3$ Conv2D 레이어를 더 효율적인 변환 도메인 대체 기법으로 대체하기 위해.
• 백프로파게이션을 통해 DCT 도메인에서 네트워크 필터를 엔드 투 엔드로 훈련시킬 수 있도록 하기 위해.
• 빠른 실수값 DCT와 요소 간 연산을 활용해 엣지 디바이스에서의 모델 효율성을 향상시키기 위해.
• 더 나은 특징 학습을 위해 DCT 도메인에서 학습 가능한 소프트 스레시홀딩을 비선형성으로 활용해보기 위해.

제안 방법

• DCT 퍼셉트론 레이어는 DCT 변환 정리에 기반해 입력 DCT 계수와 학습된 필터 계수 간의 요소 간 곱셈을 통해 DCT 도메인에서 컨벌루션 연산을 수행한다.
• 이 방법은 비선형성으로 학습 가능한 소프트 스레시홀딩 함수를 사용하여 주파수 도메인에서 효과적인 활성화 학습을 가능하게 한다.
• 레이어는 정방향 및 역방향 DCT(DCT 및 IDCT) 변환을 사용해 구현되며, 효율성을 위해 $O(N\log_2 N)$ 알고리즘을 적용한다.
• DCT 기반 레이어는 잔차 블록 내에서 $3\times3$ Conv2D 레이어의 자리에 삽입되며, 공간적 및 채널 특이성을 유지한다.
• $1\times1$ Conv2D 레이어는 DCT 이후에 사용되어 채널 간 특징 변환과 파라미터 공유를 가능하게 한다.
• 전역 평균 풀링 이전에 배치 정규화를 거친 추가 DCT 퍼셉트론 레이어를 삽입하여 계산 오버헤드를 최소화하면서 정확도를 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 요소 간 곱셈을 사용해 DCT 도메인에서 표준 공간 컨벌루션을 효율적이고 정확하게 수행할 수 있는가?
• RQ2 이미지 분류 벤치마크에서 정확도, 파라미터, MACs 측면에서 DCT 기반 레이어의 성능은 표준 Conv2D 레이어와 어떻게 비교되는가?
• RQ3 DCT 도메인에서의 학습 가능한 소프트 스레시홀딩은 ReLU 유사 비선형성을 효과적으로 대체할 수 있으며 표현 능력을 유지할 수 있는가?
• RQ4 3x3 Conv2D 레이어를 DCT 퍼셉트론 레이어로 대체함으로써 CIFAR-10과 ImageNet-1K에서 정확도를 떨어뜨리지 않고 모델 복잡도를 줄일 수 있는가?
• RQ5 전역 평균 풀링 이전에 추가 DCT 퍼셉트론 레이어를 삽입하면 기존 ResNet의 정확도를 향상시킬 수 있는가?

주요 결과

• CIFAR-10에서 DCT 퍼셉트론 레이어는 파라미터를 44.39% 감소시켰으며, 기준 ResNet-20 대비 정확도는 -0.07% 이내를 유지했다.
• CIFAR-10에서 이 방법은 기준 모델 대비 26.64% 적은 파라미터로 0.09%의 정확도 향상을 달성했다.
• ImageNet-1K에서 DCT-ResNet-50 모델은 파라미터를 28.5% 감소시키고 MACs를 32.8% 감소시켰으며, 중심 캡처 top-1 정확도는 0.89% 하락에 그쳤다.
• 트라이포드 DCT-ResNet-50 변형은 파라미터를 21.1% 감소시키고 MACs를 32.6% 감소시켰으며, 기준 모델 대비 top-1 정확도 75.52%를 유지했다(기준: 76.06%).
• 전역 평균 풀링 이전에 추가 DCT 퍼셉트론 레이어를 삽입함으로써 ResNet-18의 top-1 정확도는 69.76%에서 70.50%로 향상되었으며, 파라미터는 2.3%만 증가했다.
• 추가 DCT 레이어로 인해 ResNet-50의 top-5 정확도는 92.85%에서 93.80%로 상승했으며, 파라미터는 16.4% 증가했고 MACs 증가는 거의 없었다.