[논문 리뷰] Deeply-Supervised Nets

Chen‐Yu Lee, Saining Xie외 3명|arXiv (Cornell University)|2014. 09. 18.

Advanced Neural Network Applications참고 문헌 26인용 수 1,034

한 줄 요약

이 논문은 깊이 있는 학습 프레임워크인 딥리-서포트드 넷스(Deeply-Supervised Nets, DSN)를 제안한다. 이는 컨볼루션 신경망의 다수의 은닉층에 보조 분류기(함께하는 목표)를 도입하여 특징의 구분 능력과 학습 안정성을 향상시킨다. 중간층을 직접적으로 감독함으로써 DSN은 수렴 속도를 향상시키고 기울기 소실 현상을 줄이며, MNIST(0.39% 오차), CIFAR-10(증강 기법 사용 시 8.22%), CIFAR-100(34.57%), SVHN(1.92%)에서 기존의 표준 CNN 및 이전 방법들을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Our proposed deeply-supervised nets (DSN) method simultaneously minimizes classification error while making the learning process of hidden layers direct and transparent. We make an attempt to boost the classification performance by studying a new formulation in deep networks. Three aspects in convolutional neural networks (CNN) style architectures are being looked at: (1) transparency of the intermediate layers to the overall classification; (2) discriminativeness and robustness of learned features, especially in the early layers; (3) effectiveness in training due to the presence of the exploding and vanishing gradients. We introduce "companion objective" to the individual hidden layers, in addition to the overall objective at the output layer (a different strategy to layer-wise pre-training). We extend techniques from stochastic gradient methods to analyze our algorithm. The advantage of our method is evident and our experimental result on benchmark datasets shows significant performance gain over existing methods (e.g. all state-of-the-art results on MNIST, CIFAR-10, CIFAR-100, and SVHN).

연구 동기 및 목표

• 딥 컨볼루션 네트워크의 은닉층에서 학습된 특징의 투명성과 구분 능력을 향상시키기 위해.
• 깊이 있는 네트워크에서 백프로파게이션 동안 기울기 소실 및 폭발 문제를 해결하기 위해.
• 중간 표현을 직접적으로 감독하여 학습 효율성과 수렴 속도를 향상시키기 위해.
• 데이터 증강이나 복잡한 사전 학습에 의존하지 않고도 이론적으로 타당하고 확장 가능한 프레임워크를 제공하여 일반화 성능을 향상시키기 위해.
• MNIST, CIFAR-10, CIFAR-100, SVHN과 같은 다양한 벤치마크 데이터셋에서 일관된 성능 향상을 입증하기 위해.

제안 방법

• 주 출력 분류기 외에도 각 은닉층에 함께하는 목표(보조 분류기)를 도입한다.
• 확률적 경사 하강법을 사용하여 DSN 프레임워크의 수렴 개선을 분석하고 정당화한다.
• 표준 딥러닝 구성 요소(컨볼루션 레이어, ReLU, 풀링)를 사용하지만, 특징 맵에 별도의 분류기를 통해 다중 수준의 감독을 추가한다.
• 모든 레이어별 분류 손실과 최종 출력 손실의 합으로 이루어진 총 손실을 최적화하는 공동 최적화 방식을 사용한다.
• 다양한 활성화 함수와 정규화 기법(예: 드롭아웃, 맥스아웃)을 호환 가능한 구성 요소로 지원한다.
• 최종 분류기로 SVM 또는 소프트맥스를 사용하며, 실험 결과 DSN-SVM와 DSN-Softmax가 비-딥리-서포트드 대비 더 뛰어난 성능을 보였다.

실험 결과

연구 질문

• RQ1 중간 은닉층의 직접적인 감독이 깊이 있는 네트워크에서 특징 품질과 분류 성능 향상에 기여하는가?
• RQ2 다중 수준의 감독이 기울기 소실 영향을 줄이고 학습 수렴 속도를 가속화하는가?
• RQ3 다양한 이미지 분류 벤치마크에서 DSN은 표준 CNN 및 다른 최신 기술 수준의 방법과 비교해 어떻게 성능을 내는가?
• RQ4 DSN이 하이퍼파rameter 선택과 데이터 부족에 대해 얼마나 강건한가?
• RQ5 DSN 프레임워크는 드롭아웃, 맥스아웃, 또는 데이터 증강과 같은 기존의 정규화 및 아키텍처 기법을 통합할 수 있는가?

주요 결과

• DSN은 MNIST에서 0.39%의 테스트 오차를 기록하여, 데이터 증강을 사용한 이전 최신 기술 수준의 방법들 모두를 뛰어넘었다.
• CIFAR-10에서는 데이터 증강 없이 9.78%의 오차를 기록했고, 증강 기법을 사용할 경우 8.22%로 기록하여 새로운 최신 기술 수준 기준을 수립했다.
• CIFAR-100에서는 34.57%의 테스트 오차를 기록하여, 이전 방법들인 Network in Network(35.68%) 및 맥스아웃 네트워크(38.57%)를 크게 앞서갔다.
• SVHN에서는 1.92%의 오차를 기록하여 최고의 기록과 동일했으며, DropConnect(1.94%) 및 맥스아웃 네트워크(2.47%)를 모두 능가했다.
• DSN의 첫 번째 컨볼루션 레이어에서 기울기 분산은 표준 CNN 대비 4.55배 높아, 더 강력한 신호 전파와 향상된 학습 역학을 나타냈다.
• 특징 맵의 시각화 결과, DSN이 학습한 특징은 특히 초기 레이어에서 표준 CNN보다 더 직관적이고 구분 능력이 뛰어났다.