[논문 리뷰] Low-Cost Parameterizations of Deep Convolutional Neural Networks

Eran Treister, Lars Ruthotto외 3명|arXiv (Cornell University)|2018. 05. 20.

Model Reduction and Neural Networks참고 문헌 16인용 수 5

한 줄 요약

이 논문은 반응-확산 편미분방정식(PDE) 기반 아키텍처를 통해 채널 결합의 희소성 특성을 활용하여 딥 컨volution 신경망에 대한 새로운 저비용 파rameterization을 제안한다. 표준 완전 연결형 컨볼루션 대신 반응-확산 PDE에서 유도된 깊이별, 원형, 또는 반암시적 컨볼루션 레이어를 도입함으로써, 이미지 분류 작업에서 정확도를 유지하면서도 파rameter 수와 계산량을 최대 한 수준까지 감소시킨다. 이는 특히 넓은 또는 고차원 네트워크에 매우 유리하다.

ABSTRACT

Convolutional Neural Networks (CNNs) filter the input data using a series of spatial convolution operators with compactly supported stencils and point-wise nonlinearities. Commonly, the convolution operators couple features from all channels. For wide networks, this leads to immense computational cost in the training of and prediction with CNNs. In this paper, we present novel ways to parameterize the convolution more efficiently, aiming to decrease the number of parameters in CNNs and their computational complexity. We propose new architectures that use a sparser coupling between the channels and thereby reduce both the number of trainable weights and the computational cost of the CNN. Our architectures arise as new types of residual neural network (ResNet) that can be seen as discretizations of a Partial Differential Equations (PDEs) and thus have predictable theoretical properties. Our first architecture involves a convolution operator with a special sparsity structure, and is applicable to a large class of CNNs. Next, we present an architecture that can be seen as a discretization of a diffusion reaction PDE, and use it with three different convolution operators. We outline in our experiments that the proposed architectures, although considerably reducing the number of trainable weights, yield comparable accuracy to existing CNNs that are fully coupled in the channel dimension.

연구 동기 및 목표

• 특히 넓거나 고차원 아키텍처에 대해 훈련 가능한 파rameter 수와 계산 비용을 줄이기 위해.
• 채널 간 완전히 결합된 컨볼루션의 비효율성, 즉 채널 너비 증가에 따라 비례적으로 악화되는 문제를 해결하기 위해.
• 연속적인 PDE 모델을 사용하여 이론적으로 예측 가능하고 파rameter 효율적인 CNN 아키텍처를 개발하기 위해.
• 파라미터 수를 극적으로 줄여 제한된 메모리가 있는 장치에서 효율적인 추론과 훈련을 가능하게 하기 위해.
• 표준 컨볼루션의 계산 비용이 지나치게 높아져 적용이 어려운 3D 및 4D 데이터(예: 영상, 의료 영상)에 대한 CNN의 적용 범위를 확장하기 위해.

제안 방법

• 시간에 의존하는 PDE, 특히 반응-확산 모델에서 유도된 새로운 잔차 신경망 아키텍처를 제안하여 이론적 안정성과 예측 가능성을 확보한다.
• 표준 3D 컨볼루션을 깊이별 컨볼루션과 1×1 컨볼루션의 선형 조합으로 대체함으로써 파라미터 수를 감소시키면서도 표현 능력은 유지한다.
• 깊이별 컨볼루션의 역행을 FFT를 통해 계산한 후 비선형 활성화 함수를 적용하는 반암시적 방법을 도입함으로써, 낮은 비용으로 전체 공간적 결합을 실현한다.
• 텐서 곱의 구조를 활용해 채널 간 원형 연결성을 도입함으로써, 효율적인 FFT 기반 계산과 채널 너비에 대해 선형 스케일링을 가능하게 한다.
• 영역을 0으로 패딩하거나 원형으로 연장한 커널에서 컨볼루션을 효율적으로 계산하기 위해 빠른 푸리에 변환(FFT)을 활용함으로써 커널 크기 의존도를 감소시킨다.
• PDE의 이산 근사를 아키텍처로 도입함으로써, 파arameter 변화나 노이즈에 대해 이론적으로 강건한 성질을 확보한다.

실험 결과

연구 질문

• RQ1 모델 정확도나 표현 능력을 저하시키지 않고도 CNN의 채널 결합을 희소화할 수 있는가?
• RQ2 PDE 기반 연속 모델을 어떻게 이산화하여 이론적 안정성과 계산 효율성을 확보할 수 있는가?
• RQ3 완전히 결합된 컨볼루션을 깊이별 또는 원형 구조로 대체함으로써 파라미터 및 계산 비용을 얼마나 줄일 수 있는가?
• RQ4 채널 너비 증가에 따라 제안된 아키텍처가 어떻게 스케일링되는가? 특히 영상이나 3D 의료 영상과 같은 고차원 데이터에서 어떻게 성능을 발휘하는가?
• RQ5 넓은 네트워크에서 FFT 기반 구현이 표준 cuDNN 구현 대비 상대적 속도에서 슈퍼어리어를 기록할 수 있는가?

주요 결과

• 제안된 아키텍처는 표준 완전 연결형 CNN과 비슷하거나 더 높은 정확도를 달성하면서도 훨씬 적은 훈련 가능한 파라미터를 사용한다.
• FFT 기반 구현의 런타임 비율이 cuDNN의 완전 연결형 컨볼루션 대비 채널 수에 따라 선형적으로 증가하며, 약 200개 채널에서 유리한 성능를 보인다.
• 커널 크기가 클수록 FFT 기반 구현의 성능 향상이 두드러지며, 이는 실행 시간이 커널 크기에 영향을 받지 않기 때문이다. 반면 직접 GEMM 기반 방법은 커널 크기에 비례해 느려진다.
• 반암시적 방법은 깊이별 컨볼루션만을 사용하여도 전체 픽셀 간 공간적 결합을 실현함으로써, 낮은 계산 비용으로도 강력한 특징 상호작용을 달성한다.
• 원형 컨볼루션 구조는 파라미터 수를 입력 채널과 출력 채널의 곱이 아닌 채널 너비 비례로 유지함으로써 메모리 사용을 극적으로 줄인다.
• 이 아키텍처는 표준 3D CNN이 계산 비용이 지나치게 높아 적용이 어려운 3D 및 4D 데이터에 특히 유리하다.