[논문 리뷰] Revisiting Dynamic Convolution via Matrix Decomposition

Yunsheng Lou, Yinpeng Chen외 8명|arXiv (Cornell University)|2021. 03. 15.

Advanced Neural Network Applications참고 문헌 31인용 수 12

한 줄 요약

이 논문은 동적 주의를 채널 그룹에 대해 적용하는 대신 저차원 잠재 공간에서의 동적 채널 융합으로 대체하는 행렬 분해 기반 방법인 동적 컨볼루션 분해(DCD)를 제안한다. 잠재 차원을 감소시키고 동적 계수를 정적 커널에서 분리함으로써, DCD는 이전 방법보다 50% 적은 파라미터를 사용하면서도 MobileNetV2와 ResNet에서 정확도 향상과 훈련 수렴성 향상을 달성한다.

ABSTRACT

Recent research in dynamic convolution shows substantial performance boost for efficient CNNs, due to the adaptive aggregation of K static convolution kernels. It has two limitations: (a) it increases the number of convolutional weights by K-times, and (b) the joint optimization of dynamic attention and static convolution kernels is challenging. In this paper, we revisit it from a new perspective of matrix decomposition and reveal the key issue is that dynamic convolution applies dynamic attention over channel groups after projecting into a higher dimensional latent space. To address this issue, we propose dynamic channel fusion to replace dynamic attention over channel groups. Dynamic channel fusion not only enables significant dimension reduction of the latent space, but also mitigates the joint optimization difficulty. As a result, our method is easier to train and requires significantly fewer parameters without sacrificing accuracy. Source code is at https://github.com/liyunsheng13/dcd.

연구 동기 및 목표

• K-겹 커널 파rameterization으로 인한 높은 파라미터 수와 훈련 불안정성 문제 해결
• 동적 주의와 정적 컨볼루션 커널 간의 공동 최적화 어려움 극복
• 행렬 분해를 통한 동적 컨볼루션 재구성으로 근본 원인 폭 드러냄: 채널 그룹 주의로 인한 고차원 잠재 공간
• 저차원 잠재 공간에서의 동적 채널 융합을 이용한 더 컴act하고 훈련 가능한 대안 제안
• 계산 비용을 크게 증가시키지 않으면서도 모델 효율성과 정확도 향상 달성

제안 방법

• 행렬 분해를 이용해 동적 컨볼루션 재정의: W(x) = W₀ + UΠ(x)SVᵀ, 여기서 Π(x)는 고차원 공간에서 K×C 채널 그룹에 대해 동적 주의를 적용한다.
• 채널 그룹에 대한 동적 주의가 고차원 잠재 공간(KC 채널)을 유도하여 주의 값이 작아지고 학습이 어려워짐을 규명한다.
• 저차원 잠재 공간(L ≪ C)에서 전체 동적 행렬 Φ(x)를 사용하는 동적 채널 융합(DCF)을 제안하며, Φ(x)는 PΦ(x)Qᵀ를 통해 채널을 융합한다.
• 입력을 압축(P ∈ ℝᶜˣᴸ)하고 출력을 확장하는 두 개의 학습 가능한 행렬 P와 Q를 사용하여 파라미터 수를 감소시키고 훈련을 안정화시킨다.
• 추가로 모델 제어 및 효율성을 향상시키기 위해 동적 채널별 주의 Λ(x)와 잔차 스케일링 B를 도입한다.
• 포인트와이즈 및 분류기 레이어에는 전체 DCF와 Λ(x)를 구현하고, 딥웨이즈 컨볼루션에는 DCF만을 사용하여 컴팩트함을 확보한다.

실험 결과

연구 질문

• RQ1 성능 향상에도 불구하고 동적 컨볼루션은 왜 높은 파라미터 수와 악성 훈련 수렴성 문제를 겪는가?
• RQ2 채널 그룹 주의로 인해 유도되는 고차원 잠재 공간이 모델 최적화와 파라미터 효율성에 어떤 영향을 미치는가?
• RQ3 저차원 잠재 공간에서의 동적 채널 융합이 채널 그룹에 대한 동적 주의보다 정확도와 파라미터 효율성 측면에서 뛰어나게 되는가?
• RQ4 행렬 분해를 통해 기존 동적 컨볼루션 방법의 구조적 한계를 어느 정도 드러낼 수 있는가?
• RQ5 융합 행렬 Φ(x)의 동적 행동은 네트워크 레이어와 입력 데이터에 따라 어떻게 변화하는가?

주요 결과

• MobileNetV2 ×1.0에서 DCD는 Chen et al. (2020c) 대비 50% 감소한 파라미터를 사용하고 Yang et al. (2019) 대비 75% 감소시키며, MAdds는 증가하지 않았다.
• ResNet-18에서 DCD는 Chen et al. (2020c)의 파라미터의 33%만을 사용하면서도 상위 1위 정확도에서 0.4% 향상되었다.
• 대규모 온도 튜닝 없이도 DY-Conv (Chen et al., 2020c)보다 더 빠르게 수렴하고 더 높은 정확도를 달성했다.
• MobileNetV2 ×0.5 및 ×1.0에서 추론 시간은 12–14% 증가했지만, 이 오버헤드는 3.2–4.8%의 상위 1위 정확도 향상으로 상쇄된다.
• 더 깊은 레이어로 갈수록 동적 계수의 정규화된 분산 σΦ가 증가하여 고차원 특징에서 더 강한 동적 적응이 일어남을 시사한다.
• 제거 실험 결과, 동적 채널 융합과 채널별 주의 Λ(x), 그리고 전체 잔차 B=1을 조합할 경우 최적의 성능을 달성함을 확인했다.