[논문 리뷰] Deep Clustered Convolutional Kernels

Minyoung Kim, Luca Rigazio|arXiv (Cornell University)|2015. 03. 06.

Advanced Neural Network Applications참고 문헌 17인용 수 12

한 줄 요약

이 논문은 확률적 경사 하강법 중에 반복적으로 컨볼루션 필터를 분할하고 병합함으로써 컨볼루션 신경망 아키텍처를 자동으로 최적화하는 학습 알고리즘인 딥 클러스터드 컨볼루션 커널(DCCK)을 제안한다. 수작업으로 설계된 아키텍처보다 성능을 향상시키면서도 중복을 줄여, MNIST, GTSRB, CIFAR-10에서 파rameter 수를 줄이며 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Deep neural networks have recently achieved state of the art performance thanks to new training algorithms for rapid parameter estimation and new regularization methods to reduce overfitting. However, in practice the network architecture has to be manually set by domain experts, generally by a costly trial and error procedure, which often accounts for a large portion of the final system performance. We view this as a limitation and propose a novel training algorithm that automatically optimizes network architecture, by progressively increasing model complexity and then eliminating model redundancy by selectively removing parameters at training time. For convolutional neural networks, our method relies on iterative split/merge clustering of convolutional kernels interleaved by stochastic gradient descent. We present a training algorithm and experimental results on three different vision tasks, showing improved performance compared to similarly sized hand-crafted architectures.

연구 동기 및 목표

• 수작업적 시도와 오류 방식의 신경망 아키텍처 설계로 인한 딥 러닝의 확장성 문제를 해결하기 위해.
• 학습 도중 모델 아키텍처와 파rameter를 동시에 최적화하는 학습 알고리즘을 개발하기 위해.
• 분할/병합 클러스터링을 사용해 커널 복잡도를 동적으로 조정함으로써 모델의 중복을 줄이고 일반화 성능을 향상시키기 위해.
• 자동 구조 최적화가 수작업으로 설계된 아키텍처를 뛰어넘거나 동등하게 성능을 내며 더 적은 파rameter로 구현할 수 있음을 입증하기 위해.

제안 방법

• 학습 중에 컨볼루션 필터에 대해 반복적인 분할/병합 클러스터링 프로세스를 적용하여 모델 복잡도를 증가시키고, 이후 감소시킨다.
• k-means 또는 유사한 방법을 사용해 필터를 클러스터링하여 중복되거나 유사한 필터를 식별하고 병합한다.
• 병합 후에는 감소된 아키텍처에서 파rameter를 재추정하기 위해 확률적 경사 하강법(SGD)을 통해 미세조정한다.
• 성능이 검증 데이터에서 평가된 결과에 따라, 분할(용량 증가)과 병합(중복 제거)을 번갈아 적용한다.
• 초기에는 모든 필터에 대해 균일하게 분할을 적용하지만, 향후 기능의 구분 능력에 기반한 선택적 분할에 대한 향후 연구를 제안한다.
• 학습 전 과정에 걸쳐 알고리즘을 종단 간(end-to-end)으로 적용하여 아키텍처가 파rameter 학습과 동시에 진화하도록 한다.

실험 결과

연구 질문

• RQ1 학습 알고리즘이 파rameter 추정 과정 중에 자동으로 CNN 아키텍처를 최적화할 수 있는가? 이는 수작업 설계 의존도를 줄일 수 있는가?
• RQ2 분할/병합를 통한 반복적 커널 클러스터링이 고정된 수작업 아키텍처에 비해 일반화 성능과 성능을 향상시키는가?
• RQ3 컨볼루션 필터의 중복성을 제거함으로써 더 적은 파rameter로 더 높은 정확도를 달성할 수 있는가?
• RQ4 자동으로 최적화된 아키텍처의 성능가 최신 기술 수준의 수작업 최적화 모델인 Network-In-Network와 비교해 어떻게 되는가?
• RQ5 이 방법은 ImageNet과 같은 더 복잡한 데이터셋과 음성 인식과 같은 비전 작업 이외의 작업에 확장 가능한가?

주요 결과

• MNIST와 GTSRB에서 DCCK는 더 적은 파rameter로 기준 모델보다 뚜렷한 성능 향상을 달성했다.
• CIFAR-10에서 DCCK는 매우 최적화된 Network-In-Network 아키텍처에 적용되었을 때도 성능 향상을 보이며 뛰어난 내재성(robustness)을 입증했다.
• 분할 레이어를 적용하고 파라미터 수를 두 배로 늘여 0.5%의 평균 오류율 향상을 달성했으며, 용량 증가에 따른 점진적 성능 향상을 보였다.
• DCCK 최적화 아키텍처는 동일한 파라미터 수를 가진 원본 모델보다 항상 우수한 성능을 보였으며, 훈련 곡선상 더 낮은 테스트 손실과 더 높은 정확도로 이를 입증했다.
• 속도 비교 결과, DCCK로 훈련된 모델은 추론 속도가 빨라졌으며, 동일 하드웨어에서 전방 계산 시간이 최대 15% 감소했다.
• 이 방법은 커널 클러스터링을 통한 자동 아키텍처 검색이 특히 단순한 데이터셋에서 더 나은 일반화 성능을 가진 모델을 도출할 수 있음을 입증했다.