[논문 리뷰] Deep Learning with Separable Convolutions

François Chollet|arXiv (Cornell University)|2016. 10. 07.

Domain Adaptation and Few-Shot Learning참고 문헌 11인용 수 12

한 줄 요약

이 논문은 Inception 모듈을 깊이 분리형 합성곱으로 대체함으로써, Inception을 제약된 형태의 깊이 분리형 합성곱으로 해석하는 새로운 합성곱 신경망 아키텍처인 Xception을 제안한다. 동일한 파라미터 수를 가진 상황에서 ImageNet과 3.5억 장의 이미지로 구성된 대규모 데이터셋에서 Inception V3보다 뛰어난 성능을 달성하며, 더 높은 파라미터 효율성을 입증함으로써 성능 향상의 원동력은 능력 증가가 아니라 효율성 향상임을 보여준다.

ABSTRACT

We present an interpretation of Inception modules in convolutional neural networks as being an intermediate step in-between regular convolution and the depthwise separable convolution operation (a depthwise convolution followed by a pointwise convolution). In this light, a depthwise separable convolution can be understood as an Inception module with a maximally large number of towers. This observation leads us to propose a novel deep convolutional neural network architecture inspired by Inception, where Inception modules have been replaced with depthwise separable convolutions. We show that this architecture, dubbed Xception, slightly outperforms Inception V3 on the ImageNet dataset (which Inception V3 was designed for), and significantly outperforms Inception V3 on a larger image classification dataset comprising 350 million images and 17,000 classes. Since the Xception architecture has the same number of parameters as Inception V3, the performance gains are not due to increased capacity but rather to a more efficient use of model parameters.

연구 동기 및 목표

• Inception 모듈과 깊이 분리형 합성곱 간의 구조적 관계를 탐구하기 위해.
• 기존 Inception 기반 모델의 파라미터 사용 효율성의 열악함을 해결하기 위해.
• 깊이 분리형 합성곱을 활용하여 향상된 성능을 낼 수 있는 새로운 CNN 아키텍처를 설계하기 위해.
• 고도로 파라미터 효율적인 성능을 보이는 대규모 이미지 분류 벤치마크에서 신규 아키텍처를 평가하기 위해.

제안 방법

• 저자는 Inception 모듈을 깊이 분리형 합성곱의 제약된 형태로 재해석한다.
• Inception 모듈을 깊이 분리형 합성곱으로 대체함으로써 Xception 아키텍처를 제안한다.
• 깊이 합성곱은 입력 채널 각각에 대해 하나의 필터를 적용한 후, 채널 간 특징을 통합하기 위해 포인트와이즈 합성곱을 수행한다.
• 공정한 비교를 위해 아키텍처는 Inception V3와 동일한 수의 파라미터를 유지한다.
• 모델은 ImageNet과 17,000개 클래스를 가진 3.5억 장의 이미지로 구성된 대규모 데이터셋에서 엔드 투 엔드로 훈련된다.
• 공간적 및 채널별 연산의 분리를 극대화함으로써 파라미터 효율성에 중점을 둔 설계를 한다.

실험 결과

연구 질문

• RQ1 Inception 모듈과 깊이 분리형 합성곱은 아키텍처적 구조에서 어떻게 관련이 있는가?
• RQ2 Inception 모듈을 깊이 분리형 합성곱으로 대체함으로써 파라미터 수를 늘리지 않고도 모델 성능을 향상시킬 수 있는가?
• RQ3 Xception 아키텍처는 대규모 이미지 분류 작업에서 Inception V3보다 더 잘 일반화되는가?
• RQ4 파라미터 효율성이 딥 합성곱 신경망의 성능 향상에 얼마나 기여하는가?

주요 결과

• Xception은 동일한 파라미터 수를 가짐에도 불구하고 ImageNet 데이터셋에서 Inception V3를 略적으로 뛰어넘는다.
• 3.5억 장의 이미지와 17,000개 클래스로 구성된 대규모 데이터셋에서 Xception은 Inception V3를 상당히 앞서며 성능을 냈다.
• Xception의 성능 향상 요인은 모델 용량 증가가 아니라 파라미터의 더 효율적인 사용 덕분이었다.
• Inception 모듈에서 깊이 분리형 합성곱으로의 아키텍처 전환은 동일한 파라미터 예산 내에서 더 나은 특징 학습을 가능하게 하였다.