[논문 리뷰] 3D Depthwise Convolution: Reducing Model Parameters in 3D Vision Tasks

Rongtian Ye, Fangyu Liu외 1명|arXiv (Cornell University)|2018. 08. 05.

Advanced Vision and Imaging참고 문헌 18인용 수 4

한 줄 요약

이 논문은 3D 시각 작업에서 표준 3D 컨벌루션을 깊이 분리형 및 포인트와이즈 연산으로 분해함으로써 모델 파라미터를 극적으로 줄이기 위해 3D 깊이 분리형 컨벌루션을 제안한다. 분류 및 재구성 작업에서 표준 3D 컨벌루션과 유사한 성능을 달성하면서 최대 95%의 파라미터 감소를 이룩하며, 자원 제약 조건 하에서 더 깊고 효율적인 3D 네트워크를 가능하게 한다.

ABSTRACT

Standard 3D convolution operations require much larger amounts of memory and computation cost than 2D convolution operations. The fact has hindered the development of deep neural nets in many 3D vision tasks. In this paper, we investigate the possibility of applying depthwise separable convolutions in 3D scenario and introduce the use of 3D depthwise convolution. A 3D depthwise convolution splits a single standard 3D convolution into two separate steps, which would drastically reduce the number of parameters in 3D convolutions with more than one order of magnitude. We experiment with 3D depthwise convolution on popular CNN architectures and also compare it with a similar structure called pseudo-3D convolution. The results demonstrate that, with 3D depthwise convolutions, 3D vision tasks like classification and reconstruction can be carried out with more light-weighted neural networks while still delivering comparable performances.

연구 동기 및 목표

• 표준 3D 컨벌루션의 높은 계산 비용과 메모리 소비 문제를 해결하기 위해.
• 자원 제약 조건이 있는 3D 신경망을 위한 파라미터 효율적인 대안을 탐색하기 위해.
• 모델 크기를 유지하면서 성능을 확보하는 3D 깊이 분리형 컨벌루션을 제안하고 평가하기 위해.
• 3D 분류 및 3D 재구성 작업에서 3D 깊이 분리형 컨벌루션의 효과성을 입증하기 위해.
• 깊이 분리형 분해를 통해 파라미터 수를 줄여 더 깊은 3D ConvNet의 사용을 가능하게 하기 위해.

제안 방법

• 표준 3D 컨벌루션을 두 단계로 분해: 입력 채널별 깊이 분리형 컨벌루션과 채널 간 1×1×1 컨벌루션.
• 모양이 (l, w, h, c)인 3D 특징 맵에 깊이 분리형 연산을 적용하여 각 채널에 대해 c개의 별도 k×k×k 필터를 사용하고, 이후 1×1×1 컨벌루션을 통해 통합한다.
• 수학적으로 파라미터 효율성을 분석하여 표준 3D 컨벌루션 대비 10배 이상의 파라미터 감소를 입증한다.
• 가짜 3D 컨벌루션(필터를 공간적 및 시간적 성분으로 분할)과 3D 깊이 분리형 컨벌루션을 비교하여 더 낮은 파라미터 수와 유사한 성능을 보임을 확인한다.
• 표준 아키텍처인 VGG 및 잔차 블록에 3D 깊이 분리형 컨벌루션을 통합하고, 3D 재구성 디코더에 적용한다.
• 잔차 블록 기반 디코더(ResRec)에 깊이 분리형 컨벌루션을 사용하여 더 깊고 작아진 3D 재구성 모델을 구축한다.

실험 결과

연구 질문

• RQ1 깊이 분리형 컨벌루션은 3D 컨벌루션 연산으로 효과적으로 확장되어 모델 파라미터를 줄일 수 있는가?
• RQ2 파라미터 효율성과 성능 측면에서 3D 깊이 분리형 컨벌루션은 가짜 3D 컨벌루션보다 어떻게 다를까?
• RQ3 3D 깊이 분리형 컨벌루션은 모델 크기를 크게 줄였음에도 불구하고 3D 분류 및 재구성 작업에서 높은 성능을 유지할 수 있는가?
• RQ4 3D 깊이 분리형 컨벌루션을 사용하면 메모리 및 계산 제약 조건 하에서 더 깊은 3D ConvNet을 훈련시킬 수 있는가?
• RQ5 파라미터 효율적인 컨벌루션을 사용할 때 모델의 깊이와 아키텍처 설계가 3D 재구성 성능에 어떤 영향을 미치는가?

주요 결과

• 3D 깊이 분리형 컨벌루션은 분류 작업에서 표준 3D 컨벌루션 대비 최대 95%의 파라미터 감소를 이룩했으며, 성능 저하가 최소한이었다.
• 3D 재구성 작업에서 파라미터가 적은 더 깊은 3D 깊이 분리형 컨벌루션 디코더(ResRec-16 dw)가 파라미터가 많은 얕은 표준 3D 컨벌루션 디코더보다 더 높은 성능을 보였으며, mIoU 63.1을 달성했다.
• ResRec-16 dw 모델은 깊이 분리형 컨벌루션을 사용했을 때 표준 ResRec-16(63.1 mIoU)보다 61.5 mIoU를 기록하여 강력한 효율성과 성능의 상호 보완 관계를 입증했다.
• 정성적 결과에서는 3D 깊이 분리형 컨벌루션이 가짜 3D 컨벌루션보다 더 세밀한 디테일을 잘 유지하는 것으로 나타났으며, 가짜 3D 컨벌루션은 더 매끄럽지만 세밀한 표면을 생성하는 경향이 있었다.
• 더 깊은 3D ConvNet(예: ResRec-16)은 동일한 인코더를 사용하는 얕은 모델(예: 3D-R2N2)보다 뚜렷이 뛰어난 성능을 보였으며, 이는 3D 시각 작업에서 깊이의 중요성을 강조한다.
• 3D 깊이 분리형 컨벌루션의 사용은 엄격한 계산 및 메모리 제약 조건 하에서도 더 깊고 복잡한 3D 네트워크를 구축할 수 있게 하여 이전에는 구현이 어려웠던 모델을 실현 가능하게 했다.