[논문 리뷰] DecomposeMe: Simplifying ConvNets for End-to-End Learning

José M. Alvarez, Lars Petersson|arXiv (Cornell University)|2016. 06. 17.

Advanced Neural Network Applications참고 문헌 20인용 수 34

한 줄 요약

DecomposeMe는 2차원 필터를 학습 가능한 1차원 필터 조합으로 분해하는 새로운 1D 컨볼루션 아키텍처를 제안한다. 이는 파rameter 효율성과 성능 향상을 가능하게 한다. 필터 분리 가능성을 딱딱한 제약 조건으로 강제하고, 층 내에서 1D 필터를 공유함으로써, VGG-B에 비해 Places2에서 파라미터를 92% 감소시키고 상위 1 정확도를 7.7% 향상시켰으며, 추론 속도는 4.3배로 향상되었다.

ABSTRACT

Deep learning and convolutional neural networks (ConvNets) have been successfully applied to most relevant tasks in the computer vision community. However, these networks are computationally demanding and not suitable for embedded devices where memory and time consumption are relevant. In this paper, we propose DecomposeMe, a simple but effective technique to learn features using 1D convolutions. The proposed architecture enables both simplicity and filter sharing leading to increased learning capacity. A comprehensive set of large-scale experiments on ImageNet and Places2 demonstrates the ability of our method to improve performance while significantly reducing the number of parameters required. Notably, on Places2, we obtain an improvement in relative top-1 classification accuracy of 7.7\% with an architecture that requires 92% fewer parameters compared to VGG-B. The proposed network is also demonstrated to generalize to other tasks by converting existing networks.

연구 동기 및 목표

• 임베디드 디바이스와 같은 자원 제약 환경에서 대규모 ConvNets의 높은 메모리 및 계산 비용을 해결하기 위해.
• 분류 성능을 훼손하지 않고도 컨볼루션 레이어의 파라미터 수를 줄이기 위해.
• 사전 훈련 모델이나 후처리 미세조정 없이도 컴act하고 효율적인 네트워크를 엔드 투 엔드로 훈련할 수 있도록 하기 위해.
• 이미지 분류를 넘어서 스테레오 매칭과 같은 다른 비전 작업으로 아키텍처를 일반화하기 위해.
• 1D 필터 구성 요소 사이에 비선형 활성화를 통해 학습 능력을 향상시키고, 효과적인 네트워크 깊이를 증가시키기 위해.

제안 방법

• 이 방법은 2차원 컨볼루션 필터를 1차원 필터의 선형 조합으로 분해하며, 훈련 중에 분리 가능성을 딱딱한 제약 조건으로 강제한다.
• 층 내에서 채널 간에 1D 필터를 공유함으로써 중복을 최소화하고 파라미터 수를 추가로 줄인다.
• 1D 필터 구성 요소 사이에 ReLU 활성화 함수를 삽입하여 선형 영역의 수를 늘리고 표현 능력을 향상시킨다.
• 사전 훈련이나 미세조정 단계 없이, 전체 아키텍처를 스크래치에서 엔드 투 엔드로 훈련한다.
• 이 방법은 표준 이미지 분류 작업뿐 아니라 스테레오 매칭 작업에도 적용되어 이식 가능성을 입증한다.
• 더 큰 커널이나 쌓인 1D 컨볼루션을 사용하여 동일한 수감 영역 크기(예: 9×9)를 유지한다.

실험 결과

연구 질문

• RQ1 1D 필터 분해가 ConvNets의 파라미터 수를 크게 줄일 수 있을까? 성능을 유지하거나 향상시킬 수 있을까?
• RQ2 훈련 중에 필터 분리 가능성을 딱딱한 제약 조건으로 강제하면, 후행적 근사 방법에 비해 더 나은 일반화와 효율성을 달성할 수 있을까?
• RQ3 제안된 아키텍처는 이미지 분류를 넘어서 스테레오 매칭과 같은 다른 비전 작업으로 일반화될 수 있을까?
• RQ4 1D 필터 구성 요소 사이에 비선형성을 삽입하면 네트워크의 효과적 깊이와 학습 능력이 증가할까?
• RQ5 기본적인 VGG 유사 아키텍처에 비해 파라미터 수와 추론 시간의 일부분만으로도 최신 성능을 달성할 수 있을까?

주요 결과

• Places2 데이터셋에서, VGG-B에 비해 파라미터의 8%만을 사용하면서도 상위 1 정확도에서 7.7%의 상대적 향상을 달성했다.
• 제안된 아키텍처는 VGG-B에 비해 파라미터 수를 92% 감소시켰으며, 성능을 유지하거나 향상시켰다.
• Places2에서 VGG-B에 비해 순전파-역전파 단계 시간이 4.3배 빨라졌다.
• KITTI2012에서의 스테레오 매칭 작업에서, 복합된 특징 추출기의 성능은 원본 모델과 유사했으며, 컨볼루션 레이어의 파라미터 수는 24.3%에 불과했다.
• 배치당 8개의 이미지에서 특징 추출 시간은 776.9초에서 281.9초로 감소하여 63.8% 감소했으며, 전체 런타임에 미치는 영향은 최소한이었다.
• 이 방법은 잘 일반화된다: 스테레오 매칭 네트워크에 적용했을 때, 파라미터 수가 극적으로 줄었음에도 불구하고 경쟁 가능한 오차율(예: 2.72% OA)을 유지했다.