[논문 리뷰] KernelWarehouse: Towards Parameter-Efficient Dynamic Convolution

Chao Li, Anbang Yao|arXiv (Cornell University)|2023. 08. 16.

Advanced Neural Network ApplicationsComputer Science인용 수 3

한 줄 요약

KernelWarehouse는 컨볼루션 커널을 세포로 분할하고 층 간에 공유되는 글로벌 '창고'를 활용하여 커널 표현을 재정의하는 파라미터 효율적인 동적 컨볼루션 방법을 제안한다. 최소한의 파라미터 증가로 고차원 커널 혼합을 가능하게 하여 상태의 기준을 달성한다—예를 들어, ResNet50를 사용할 때 ImageNet에서 81.05%의 top-1 정확도를 달성하며, 모델 크기를 최대 65.10% 감소시키고 정확도를 2.29% 향상시킨다.

ABSTRACT

Dynamic convolution learns a linear mixture of $n$ static kernels weighted with their sample-dependent attentions, demonstrating superior performance compared to normal convolution. However, existing designs are parameter-inefficient: they increase the number of convolutional parameters by $n$ times. This and the optimization difficulty lead to no research progress in dynamic convolution that can allow us to use a significant large value of $n$ (e.g., $n>100$ instead of typical setting $n<10$) to push forward the performance boundary. In this paper, we propose $KernelWarehouse$, a more general form of dynamic convolution, which can strike a favorable trade-off between parameter efficiency and representation power. Its key idea is to redefine the basic concepts of "$kernels$" and "$assembling$ $kernels$" in dynamic convolution from the perspective of reducing kernel dimension and increasing kernel number significantly. In principle, KernelWarehouse enhances convolutional parameter dependencies within the same layer and across successive layers via tactful kernel partition and warehouse sharing, yielding a high degree of freedom to fit a desired parameter budget. We validate our method on ImageNet and MS-COCO datasets with different ConvNet architectures, and show that it attains state-of-the-art results. For instance, the ResNet18|ResNet50|MobileNetV2|ConvNeXt-Tiny model trained with KernelWarehouse on ImageNet reaches 76.05%|81.05%|75.52%|82.51% top-1 accuracy. Thanks to its flexible design, KernelWarehouse can even reduce the model size of a ConvNet while improving the accuracy, e.g., our ResNet18 model with 36.45%|65.10% parameter reduction to the baseline shows 2.89%|2.29% absolute improvement to top-1 accuracy.

연구 동기 및 목표

• 기존 동적 컨볼루션 방법이 n개의 동적 커널을 사용할 때 파라미터가 n배로 증가하는 파라미터 비효율성 문제를 해결하기 위해.
• 모델 크기 증가로 인해 작은 n(예: n < 10)만 사용 가능했던 제한을 극복하고, 더 큰 n(예: n > 100)을 탐색하여 표현력을 향상시키기 위해.
• 컨볼루션 커널 내의 층 내 및 층 간 파라미터 의존성을 활용하여 비례적 파라미터 증가 없이 표현력을 향상시키기 위해.
• 모델 압축과 정확도 향상을 동시에 달성할 수 있는 유연하고 확장 가능한 아키텍처를 설계하기 위해.

제안 방법

• KernelWarehouse는 각 컨볼루션 커널을 크기가 동일한 m개의 분리된 커널 세포로 분할하여, 커널당 차원을 감소시킨다.
• 다양한 컨볼루션 층에 걸쳐 재사용되는 n개의 커널 세포(예: n = 108)로 구성된 공유된 '창고'를 정의하여 층 간 파라미터 공유를 가능하게 한다.
• 각 커널 세포는 입력에 따라 결정되는 주의 함수를 사용해 창고 세포의 선형 혼합으로 계산되며, 새로운 주의 함수를 도입한다: α_ij = z_ij / Σ_p |z_ip|.
• 주의 메커니즘은 혼합물과 창고 세포 간의 일대일 대응을 장려하기 위해 온도 스케일링된 β_ij로 초기화되어 초기 학습 안정성을 향상시킨다.
• 부정적인 값을 허용하는 새로운 주의 함수를 통합하여 악성 주의 관계를 모델링함으로써 표현 학습 성능을 향상시킨다.
• 스케일링 인자(예: 1/2×, 1×, 4×)를 통해 모델 크기와 정확도 간의 트레이드오프를 유연하게 조정할 수 있는 하이퍼파ram터 튜닝을 지원한다.

실험 결과

연구 질문

• RQ1 동적 컨볼루션은 파라미터 수가 비례적으로 증가하지 않으면서도 높은 표현력을 달성할 수 있는가?
• RQ2 컨볼루션 커널 내의 층 내 및 층 간 파라미터 의존성을 활용하여 파라미터 증가 없이 성능을 유지하거나 향상시킬 수 있는가?
• RQ3 커널 세포의 공유 글로벌 창고는 각 층의 커널 세트보다 더 나은 일반화 및 효율성을 제공하는가?
• RQ4 부정적인 값을 허용하는 새로운 주의 함수는 동적 컨볼루션에서 주의 관계 학습을 향상시키는가?
• RQ5 KernelWarehouse는 동적 커널 수를 늘릴 때 모델 크기를 줄이고 정확도를 향상시킬 수 있는가?

주요 결과

• KernelWarehouse는 ResNet50를 사용해 ImageNet에서 81.05%의 top-1 정확도를 달성하여 기준 모델보다 2.61%포인트 높은 성능을 보였으며, 파라미터 수는 28.05M에 불과했다.
• ResNet18 기준으로 모델 크기를 65.10% 감소시켜 9.2M 파라미터로 줄였고, top-1 정확도를 2.29% 향상시켰다.
• MobileNetV2에서 KernelWarehouse는 11.38M 파라미터로 75.92%의 top-1 정확도를 달성하여 기준 모델 대비 3.90% 정확도 향상을 이뤘으며, 모델 크기를 67.5% 감소시켰다.
• 제안된 주의 함수 α_ij = z_ij / Σ_p |z_ip|는 Softmax, Sigmoid, ReLU 기반 대안들보다 top-1 정확도에서 2.10–2.68% 높은 성능을 보였다.
• 온도 스케일링을 통한 주의 초기화 전략은 ResNet18에서 top-1 정확도를 1.38% 향상시켜 초기 학습 안정성에서의 중요성을 입증했다.
• 시각화 결과, 주의는 구조적이고 대각선 우세 패턴을 학습하며, 혼합물과 창고 세포 간 효과적인 일대일 매핑과 층 내 의존성의 강도가 층 간 의존성보다 높음을 시사한다.