[논문 리뷰] Training Deeper Convolutional Networks with Deep Supervision

Liwei Wang, Chen‐Yu Lee외 2명|arXiv (Cornell University)|2015. 05. 11.

Domain Adaptation and Few-Shot Learning참고 문헌 10인용 수 167

한 줄 요약

이 논문은 깊은 합성곱 신경망의 훈련을 향상시키기 위해 중간층에 보조 분류기(보조 분류기)를 추가하는 Deep Supervision 방법을 제안한다. 이는 기울기 기반 히우리스틱을 통해 기울기 소실 문제를 완화하는 데 기반한다. 이 방법은 ImageNet과 MIT Places에서 더 빠른 수렴과 더 높은 정확도를 달성하며, 반복적인 사전 훈련 없이도 깊이가 8~13층인 모델에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

One of the most promising ways of improving the performance of deep convolutional neural networks is by increasing the number of convolutional layers. However, adding layers makes training more difficult and computationally expensive. In order to train deeper networks, we propose to add auxiliary supervision branches after certain intermediate layers during training. We formulate a simple rule of thumb to determine where these branches should be added. The resulting deeply supervised structure makes the training much easier and also produces better classification results on ImageNet and the recently released, larger MIT Places dataset

연구 동기 및 목표

• 매우 깊은 합성곱 신경망 훈련의 과제를 해결하기 위해, 기울기 소실과 느린 수렴 문제를 해결한다.
• 보조 감독 분기의 배치를 체계적이고 데이터 기반으로 깊은 네트워크에 적용할 수 있는 방법을 개발한다.
• 비용이 많이 드는 얕은 네트워크의 반복적 사전 훈련에 의존하지 않고도 훈련 효율성과 분류 정확도를 향상시킨다.
• ImageNet 및 MIT Places와 같은 대규모 데이터셋에서 Deep Supervision의 효과를 입증한다.

제안 방법

• 훈련 초반 단계에서 기울기가 소멸하는 레이어를 기울기 기반 히우리스틱을 통해 식별함으로써, 보조 감독이 가장 필요한 곳을 파악한다.
• 식별된 중간 레이어 뒤에 보조 분류기(합성곱, 완전 연결, 소프트맥스 레이어를 포함한 작은 CNN)를 추가하여 추가적인 감독을 제공한다.
• 최종 분류 손실과 중간 보조 손실의 가중합을 최소화하며, 보조 손실의 가중치는 시간이 지남에 따라 감소하여 주 작업을 우선시한다.
• 노이즈가 많은 초기 특징 맵을 효과적으로 처리하기 위해 차원 축소와 비선형 변환을 포함한 보조 분기 구조를 설계한다.
• 8층 및 13층 네트워크에 이 방법을 적용하였으며, 표준 초기화와 적응형 손실 가중치를 사용해 훈련하였다.
• 기본 모델 및 사전 훈련된 기준 모델과의 비교를 위해 ImageNet과 더 큰 MIT Places 데이터셋에서 평가하였다.

실험 결과

연구 질문

• RQ1 기울기 소실 문제를 가장 효과적으로 완화하기 위해 보조 감독은 깊은 네트워크의 어디에 배치되어야 하는가?
• RQ2 간단한 기울기 기반 규칙은 보조 분류기의 최적 배치 위치를 신뢰성 있게 식별할 수 있는가?
• RQ3 깊은 네트워크에 대해 사전 훈련 기반 접근법과 비교했을 때 Deep Supervision은 훈련 속도와 최종 정확도를 향상시키는가?
• RQ4 MIT Places와 같은 대규모, 환경 중심의 데이터셋에서 Deep Supervision은 표준 CNN과 비교해 어떻게 성능을 내는가?

주요 결과

• ImageNet에서 8층 CNDS 모델은 상위 1위 오차 33.8%를 기록하여 표준 8층 모델(34.7%)을 능가했으며, VGG-8 성능에 근접했다.
• MIT Places 데이터셋에서 CNDS-8 모델은 검증 세트에서 상위 1위 정확도 54.7%를 기록했고, 테스트 세트에선 55.7%를 달성하여 기준 5층 모델(50.4% 및 50.0%)을 4% 이상 초월했다.
• CNDS-8 모델은 Places 테스트 세트에서 상위 5위 정확도 85.8%를 기록하여 기준 모델보다 4.7 포인트 높았다.
• Places 데이터셋에서 사전 훈련 기반 기준 모델 훈련 대비 약 2일의 훈련 시간을 단축시켰으며, 반복 횟수도 190K회에서 300K회로 줄였다.
• CNDS 모델의 기울기 크기는 빠르게 안정화되었고, 일관되게 유지되어 기울기 흐름이 보다 향상되었음을 시사했다.
• 장기적으로는 더 깊은 GoogleNet 모델과 비교해 유사하거나 뛰어난 정확도를 달성했으며, 깊이가 줄어들어 특징 추출 속도가 빨라졌다.