[논문 리뷰] Do We Need Fully Connected Output Layers in Convolutional Networks?

Zhongchao Qian, Tyler L. Hayes외 2명|arXiv (Cornell University)|2020. 04. 28.

Advanced Neural Network Applications참고 문헌 32인용 수 4

한 줄 요약

이 논문은 최종 합성곱 특징 맵에서 전역 평균 풀링을 사용하여 직접 분류 점수를 계산함으로써 합성곱 신경망의 완전히 연결된 출력 레이어를 제거하는 방법을 제안한다. 이 방법은 ImageNet-1K, CIFAR-100, Stanford Cars-196, Oxford Flowers-102에서 표준 모델과 유사한 정확도를 달성하면서 파라미터를 최대 75% 감소시켜, 학습된 완전히 연결된 레이어가 분류 작업에 대해 비효율적이고 불필요하다는 것을 입증한다.

ABSTRACT

Traditionally, deep convolutional neural networks consist of a series of convolutional and pooling layers followed by one or more fully connected (FC) layers to perform the final classification. While this design has been successful, for datasets with a large number of categories, the fully connected layers often account for a large percentage of the network's parameters. For applications with memory constraints, such as mobile devices and embedded platforms, this is not ideal. Recently, a family of architectures that involve replacing the learned fully connected output layer with a fixed layer has been proposed as a way to achieve better efficiency. In this paper we examine this idea further and demonstrate that fixed classifiers offer no additional benefit compared to simply removing the output layer along with its parameters. We further demonstrate that the typical approach of having a fully connected final output layer is inefficient in terms of parameter count. We are able to achieve comparable performance to a traditionally learned fully connected classification output layer on the ImageNet-1K, CIFAR-100, Stanford Cars-196, and Oxford Flowers-102 datasets, while not having a fully connected output layer at all.

연구 동기 및 목표

• 현대 CNN에서 이미지 분류 작업을 위해 완전히 연결된 출력 레이어가 필수적인지 조사하기 위해.
• 특히 모바일 및 임베디드 응용 프로그램을 위한 모델의 파라미터 수와 메모리 사용량을 줄이기 위해.
• 고정된 분류기 레이어의 효과성과 출력 레이어를 완전히 제거하는 것의 효과를 평가하기 위해.
• 최종 합성곱 레이어에서의 전역 평균 풀링이 성능 손실 없이 학습된 완전히 연결된 레이어를 대체할 수 있는지 확인하기 위해.
• 대규모 분류 작업을 위한 고정된 분류기 방법의 더 단순하고 파라미터 효율적인 대안을 제안하기 위해.

제안 방법

• 최종 완전히 연결된 레이어를 최종 합성곱 특징 맵에 적용된 전역 평균 풀링으로 대체한다.
• 표준 backpropagation를 사용하여 네트워크를 엔드 투 엔드로 훈련시키며, 최종 합성곱 레이어를 직접 분류 작업을 위해 최적화한다.
• 고정된 항등 행렬을 분류기로 사용하여 출력 레이어의 학습 가능한 가중치가 필요 없도록 한다.
• 전역 평균 풀링된 특징에 대해 교차 엔트로피 손실을 사용하는 표준 훈련 프rotocol를 적용한다.
• 학습된 완전히 연결된 레이어를 가진 모델들과 고정된 분류기 기준 모델과의 성능 및 파라미터 수를 비교한다.
• 다양한 데이터셋(ImageNet-1K, CIFAR-100, Stanford Cars-196, Oxford Flowers-102)과 아키텍처(MobileNet-v2, ShuffleNet-v2 등)에서 평가한다.

실험 결과

연구 질문

• RQ1 완전히 연결된 출력 레이어를 제거하면 대규모 이미지 데이터셋에서 분류 성능이 떨어지는가?
• RQ2 최종 합성곱 레이어에서의 전역 평균 풀링이 학습된 완전히 연결된 레이어와 유사한 성능을 달성할 수 있는가?
• RQ3 학습된 FC 레이어가 있는 모델, 고정된 분류기 레이어가 있는 모델, 그리고 출력 레이어를 완전히 제거한 모델 간의 파라미터 효율성은 어떻게 비교되는가?
• RQ4 왜 고정된 분류기 방법은 제안된 출력 레이어 제거 방법에 비해 성능이 열 劣하는가?
• RQ5 최종 분류기 레이어는 전체 모델 정확도에 얼마나 기여하는가?

주요 결과

• 제안된 방법은 ImageNet-1K, CIFAR-100, Stanford Cars-196, Oxford Flowers-102에서 완전히 연결된 레이어 없이도 표준 모델과 유사한 상위-1 정확도를 달성한다.
• ShuffleNet-v2 x0.5에서 파라미터 감소가 최대 75%에 이르며(130만에서 30만으로), ImageNet-1K 정확도는 소폭 감소한다.
• ImageNet-100에서는 성능 저하가 없음을 확인하여, ImageNet-1K에서의 정확도 저하는 모델 크기의 영향이며 출력 레이어의 부재 때문이 아님을 시사한다.
• 헤이드라드 또는 폴리토프 기반 행렬을 사용하는 고정된 분류기 방법들조차도 출력 레이어를 단순히 제거하는 것보다 성능이 열 劣한다.
• 완전히 연결된 레이어는 소비하는 파라미터의 대부분을 차지하지만 분류 정확도에 거의 기여하지 않으며, 특히 MobileNet-v2와 같은 효율적인 모델에서는 파라미터의 37%를 차지한다.
• 이 방법은 최종 합성곱 레이어의 채널 수보다 클래스 수가 적은 데이터셋에 한해 적용 가능하며, 이 제약은 고정된 분류기 기준 모델과 동일하다.