[논문 리뷰] Building Efficient Deep Neural Networks with Unitary Group Convolutions

Ritchie Zhao, Yuwei Hu외 3명|arXiv (Cornell University)|2018. 11. 19.

Advanced Neural Network Applications참고 문헌 28인용 수 5

한 줄 요약

이 논문은 특성 공간에서 군 컨벌루션과 조밀한 유니타리 변환을 조합하여 교차 채널 표현 학습을 향상시키는 새로운 CNN 빌딩 블록인 유니타리 그룹 컨벌루션(UGConvs)을 소개한다. 이는 셔플넷과 블록 순환 네트워크를 하나의 프레임워크로 통합하며, 동일한 파라미터 수와 FLOP 수치를 유지하면서 셔플넷보다 높은 정확도를 달성하면서도 DFT 기반 방법보다 낮은 계산 복잡도를 유도하는 HadaNet을 제안한다.

ABSTRACT

We propose unitary group convolutions (UGConvs), a building block for CNNs which compose a group convolution with unitary transforms in feature space to learn a richer set of representations than group convolution alone. UGConvs generalize two disparate ideas in CNN architecture, channel shuffling (i.e. ShuffleNet) and block-circulant networks (i.e. CirCNN), and provide unifying insights that lead to a deeper understanding of each technique. We experimentally demonstrate that dense unitary transforms can outperform channel shuffling in DNN accuracy. On the other hand, different dense transforms exhibit comparable accuracy performance. Based on these observations we propose HadaNet, a UGConv network using Hadamard transforms. HadaNets achieve similar accuracy to circulant networks with lower computation complexity, and better accuracy than ShuffleNets with the same number of parameters and floating-point multiplies.

연구 동기 및 목표

• 효율적인 CNN 분야에서 서로 다른 두 연구 방향—채널 셔플링(셔플넷)과 블록 순환 가중치(CirCNN)—을 공통 이론적 프레임워크로 통합하기 위해.
• 다양한 유니타리 변환이 군 컨벌루션 레이어 내 표현 학습에 미치는 영향을 조사하기 위해.
• 채널 셔플링을 조밀한 유니타리 변환으로 대체하여 더 효율적이고 정확도가 높은 네트워크 아키텍처를 설계하기 위해.
• UGConv 기반의 HadaNet을 제안하여 최신 기술 수준의 정확도를 달성하면서도 최소한의 계산 오버헤드를 유지하기 위해.
• 특히 FPGA와 ASIC 환경에서 하드웨어 최적화된 추론에 있어 유니타리 변환의 실용성 평가하기 위해.

제안 방법

• 특성 공간에 적용된 유니타리 변환과 군 컨벌루션의 조합으로 유니타리 그룹 컨벌루션(UGConvs)을 제안한다.
• 셔플넷(채널 셔플 포함)과 CirCNN(블록 순환 가중치 포함)이 모두 UGConvs의 특정 사례임을 입증한다.
• 헤이미트 변환과 DFT 변환과 같은 조밀한 유니타리 변환을 사용하여 군 컨벌루션 내 채널 셔플링을 대체하거나 향상시킨다.
• HadaNet에서 2면 방향 블록 헤이미트 변환을 사용하여 O(N log N) 복잡도로 효율적이고 재귀적인 계산을 가능하게 한다.
• 재귀적 분해를 활용해 빠른 헤이미트 변환을 구현하여 DFT 기반 방법 대비 계산 비용을 감소시킨다.
• 기준 모델의 표준화된 훈련 프rotocol과 하이퍼파라미터를 사용하여 CIFAR-10과 ImageNet에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 특성 공간 내 유니타리 변환은 군 컨벌루션 내 단순한 채널 셔플링을 초월하여 표현 학습을 향상시킬 수 있는가?
• RQ2 다양한 조밀한 유니타리 변환(예: 헤이미트, DFT)이 순열 기반 셔플링과 비교해 정확도와 효율성 측면에서 어떻게 다른가?
• RQ3 채널 셔플링을 조밀한 유니타리 변환으로 대체할 경우 동일한 파라미터 수와 FLOPs로 더 높은 성능을 달성할 수 있는가?
• RQ4 헤이미트 변환을 사용해 기존 최신 기술 수준의 모델인 셔플넷과 CirCNN보다 더 효율적이고 정확도가 높은 네트워크를 구축할 수 있는가?
• RQ5 유니타리 변환 통합에 따른 추가 덧셈 연산 수준의 계산 오버헤드는 얼마이며, 하드웨어 가속에 실용적인가?

주요 결과

• 2면 방향 블록 헤이미트 변환을 사용한 HadaNet은 셔플넷-x0.25-g8와 동일한 파라미터 수와 FLOP 예산을 유지하면서 ImageNet에서 Top-1 오차율 53.6%를 달성했으며, 정확도는 동일하지만 계산 복잡도가 더 낮다.
• 군 크기가 8과 16인 ResNet-18에서 HadaNet은 정확도 측면에서 셔플넷을 능가하여, 고희박도 환경에서 조밀한 변환이 셔플링을 능가함을 보여준다.
• 헤이미트 변환을 추가함으로써 기존의 곱셈-덧셈 연산에 비해 부가적인 부동소수점 덧셈이 2~5%만 증가하여 오버헤드가 극히 미미하다.
• 빠른 헤이미트 변환은 재귀적 구조를 지녀 하드웨어 매핑에 효율적이며, DFT 기반 방법보다 FPGA 및 ASIC 구현에 더 적합하다.
• 실증 결과에 따르면, 군 수가 많을수록 단순한 순열(예: 채널 셔플)보다 조밀한 유니타리 변환이 훨씬 뛰어난 성능을 보이며, 이는 교차 채널 정보 흐름 향상에 기여함을 시사한다.
• UGConv 프레임워크는 셔플넷과 블록 순환 네트워크를 성공적으로 통합하였으며, 두 모델 모두 변환된 특성 기저에서 학습을 수행함으로써 표현 능력이 향상됨을 드러냈다.