[논문 리뷰] Parallel Separable 3D Convolution for Video and Volumetric Data Understanding.

Felix Gonda, Donglai Wei외 2명|arXiv (Cornell University)|2018. 01. 01.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 영상 동작 인식, MRI 뇌 세분화, 전자현미경 세분화 작업에서 3D 컨벌루션을 m개의 병렬 2D 및 1D 컨벌루션 레이어로 대체하는 새로운 컨벌루션 블록인 병렬 가분 3D 컨벌루션(PmSCn)을 제안한다. 다양한 차원에 따라 배열된 병렬 스트림을 통해 텐서 분해와 연속된 3D 레이어의 동시 대체를 활용함으로써, PmSCn은 약 14%의 정확도 향상과 40%의 더 작은 모델 크기를 달성한다.

ABSTRACT

For video and volumetric data understanding, 3D convolution layers are widely used in deep learning, however, at the cost of increasing computation and training time. Recent works seek to replace the 3D convolution layer with convolution blocks, e.g. structured combinations of 2D and 1D convolution layers. In this paper, we propose a novel convolution block, Parallel Separable 3D Convolution (PmSCn), which applies m parallel streams of n 2D and one 1D convolution layers along different dimensions. We first mathematically justify the need of parallel streams (Pm) to replace a single 3D convolution layer through tensor decomposition. Then we jointly replace consecutive 3D convolution layers, common in modern network architectures, with the multiple 2D convolution layers (Cn). Lastly, we empirically show that PmSCn is applicable to different backbone architectures, such as ResNet, DenseNet, and UNet, for different applications, such as video action recognition, MRI brain segmentation, and electron microscopy segmentation. In all three applications, we replace the 3D convolution layers in state-of-the art models with PmSCn and achieve around 14% improvement in test performance and 40% reduction in model size and on average.

연구 동기 및 목표

• 영상 및 부피형 데이터 이해에서 3D 컨벌루션 레이어의 높은 계산 비용과 학습 시간 문제를 해결하기 위해.
• 기존의 2D+1D 또는 1D+2D 분리 기반 접근 방식의 한계를 극복하기 위해, 3D 컨벌루션을 더 잘 근사화할 수 있도록 병렬 스트림을 도입하기 위해.
• 기존의 3D CNN 기반 모델(예: ResNet, DenseNet, UNet)에 쉽게 통합할 수 있는 유연하고 즉시 사용 가능한 모듈을 개발하기 위해.
• 다양한 3D 학습 작업 전반에서 성능을 유지하거나 향상시키면서 모델 크기와 추론 시간을 줄이기 위해.

제안 방법

• 단일 3D 컨벌루션 레이어를 대체하기 위해 m개의 병렬 스트림(Pm)을 사용하는 것의 텐서 분해 기반 정당화를 제안한다.
• 다른 공간 또는 시간 차원에 따라 적용되는 n개의 병렬 2D 컨벌루션과 하나의 1D 컨벌루션을 조합한 다중 스트림 아키텍처를 설계한다.
• 깊이 있는 네트워크 내 연속된 3D 컨벌루션 레이어를 다수의 2D 컨벌루션(Cn)으로 동시에 대체하여 표현 능력을 유지하면서 파라미터를 감소시킨다.
• 공간 및 시간 불변성을 유지하면서도 분리 가능한 연산을 통해 효율적인 계산을 가능하게 하기 위해 아키텍처를 최적화한다.
• 표준 딥러닝 프레임워크와의 호환성을 확보하기 위해 기울기 역전파가 가능한 엔드 투 엔드 학습이 가능한 모듈을 설계한다.
• 기존의 최신 모델에서 3D 컨벌루션을 대체하기 위해 아키텍처 재설계 없이도 PmSCn 블록을 직접 통합한다.

실험 결과

연구 질문

• RQ1 병렬 2D 및 1D 컨벌루션 스트림은 순차적 또는 단일 스트림 대안보다 3D 컨벌루션을 더 잘 근사할 수 있는가?
• RQ2 연속된 3D 컨벌루션 레이어를 다수의 2D 컨벌루션으로 동시에 대체할 경우, 표현 능력이 유지되거나 향상되는가?
• RQ3 PmSCn는 3D 영상 및 부피형 학습에서 정확도를 유지하거나 향상시키면서 모델 크기와 추론 시간을 얼마나 줄일 수 있는가?
• RQ4 PmSCn 모듈은 다양한 아키텍처(예: ResNet, DenseNet, UNet)와 작업(예: 동작 인식, 세분화)에 대해 얼마나 일반화 가능한가?

주요 결과

• PmSCn는 영상 동작 인식, MRI 뇌 세분화, 전자현미경 세분화 등 평가된 모든 응용 분야에서 약 14%의 테스트 성능 향상을 달성한다.
• 최신 모델에서 3D 컨벌루션 레이어를 PmSCn로 대체할 경우 평균 40%의 모델 크기 감소를 기록한다.
• 효율적인 텐서 분해와 병렬 계산을 통해 계산 복잡도를 크게 줄였지만도 높은 정확도를 유지한다.
• PmSCn 블록은 아키텍처 수정 없이도 ResNet, DenseNet, UNet 기반 모델에 성공적으로 통합되었다.
• 실험 결과는 병렬 스트림 설계가 순차적 또는 단일 스트림 대안보다 3D 컨벌루션을 더 우수하게 근사할 수 있음을 확인한다.
• 연속된 3D 레이어를 다수의 2D 컨벌루션으로 동시 대체함으로써 표현 능력이 유지되고 일반화 성능이 향상됨을 입증한다.