[논문 리뷰] Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification

Kaiming He, Xiangyu Zhang외 2명|arXiv (Cornell University)|2015. 02. 06.

Advanced Neural Network Applications참고 문헌 4인용 수 1,008

한 줄 요약

이 논문은 학습 중에 음수 기울기 파라미터를 학습하는 Parametric Rectified Linear Unit (PReLU) 활성화 함수와 깊은 리ectifier 네트워크에 특화된 새로운 초기화 방법을 소개한다. 이러한 혁신들은 매우 깊은 네트워크를 직접 초기화하여 훈련할 수 있게 하여 ImageNet 2012에서 4.94%의 top-5 오차를 달성한다—이것은 인간 수준 성능(5.1%)을 초월하며, ILSVRC 2014 우승자인 GoogLeNet(6.66% top-5 오차) 대비 26%의 상대적 향상이다.

ABSTRACT

Rectified activation units (rectifiers) are essential for state-of-the-art neural networks. In this work, we study rectifier neural networks for image classification from two aspects. First, we propose a Parametric Rectified Linear Unit (PReLU) that generalizes the traditional rectified unit. PReLU improves model fitting with nearly zero extra computational cost and little overfitting risk. Second, we derive a robust initialization method that particularly considers the rectifier nonlinearities. This method enables us to train extremely deep rectified models directly from scratch and to investigate deeper or wider network architectures. Based on our PReLU networks (PReLU-nets), we achieve 4.94% top-5 test error on the ImageNet 2012 classification dataset. This is a 26% relative improvement over the ILSVRC 2014 winner (GoogLeNet, 6.66%). To our knowledge, our result is the first to surpass human-level performance (5.1%, Russakovsky et al.) on this visual recognition challenge.

연구 동기 및 목표

• 기존 ReLU 활성화 함수의 한계를 해결하여 이미지 분류 과제에서 깊은 신경망 성능을 향상시키는 것.
• ReLU를 일반화하고 데이터 패턴에 적응할 수 있는 학습 가능한 활성화 함수를 개발하는 것.
• 매우 깊은 아키텍처의 엔드 투 엔드 훈련을 가능하게 하기 위해 깊은 리ectifier 네트워크에 특화된 강력한 가중치 초기화 방법을 설계하는 것.
• ImageNet 2012 분류 벤치마크에서 최신 기술 수준의 성능을 달성하여 인간 수준 정확도를 초월하는 것.

제안 방법

• 각 채널당 학습 가능한 파라미터 a_i를 갖는 Parametric Rectified Linear Unit (PReLU)를 제안하며, 수식은 f(y_i) = max(0, y_i) + a_i * min(0, y_i)이다.
• 모든 채널에 동일한 학습 가능한 파라미터 a를 공유하는 PReLU의 채널 공유 변형을 도입한다.
• 리ectifier의 비선형성을 고려한 이론적 가중치 초기화 기법을 유도하여 매우 깊은 네트워크에서 안정적인 기울기 흐름을 보장한다.
• 기본적인 역전파와 함께 PReLU 파라미터를 동시에 최적화하여 계산 오버헤드를 최소화한다.
• 일반화 성능 향상과 과적합 방지를 위해 ImageNet 2012에서의 대규모 데이터 증강 기법을 활용한다.
• 단일 모델 성능을 초월하기 위해 다중 모델 앙상블 전략을 적용한다.

실험 결과

연구 질문

• RQ1 고정된 ReLU와 비교해 학습 가능한 활성화 함수가 깊은 네트워크 성능 향상에 기여할 수 있는가?
• RQ2 이론적으로 탄탄한 초기화 방법이 매우 깊은 리ectifier 네트워크를 직접 초기화하여 훈련하는 데 기여할 수 있는가?
• RQ3 깊은 PReLU 네트워크가 ImageNet 2012에서 인간 수준 성능을 초월하는 뛰어난 정확도를 달성할 수 있는가?
• RQ4 PReLU와 새로운 초기화 방법이 매우 깊은 아키텍처에서 수렴성과 일반화에 어떤 영향을 미치는가?

주요 결과

• 제안된 PReLU 네트워크는 ImageNet 2012 테스트 세트에서 4.94%의 top-5 오차율을 달성하였으며, 이는 인간 수준 성능(5.1%)을 초월하는 첫 번째 보고된 결과이다.
• 이 방법은 ILSVRC 2014 우승자인 GoogLeNet(6.66% top-5 오차) 대비 26%의 상대적 향상을 달성하였다.
• PReLU 활성화 함수는 거의 무시할 수 있는 계산 비용으로 모델 피팅 성능를 향상시키며, 과적합 위험도 최소한도로 유지한다.
• 새로운 초기화 방법은 최대 30개의 가중치 레이어를 갖는 깊은 네트워크를 직접 초기화하여 안정적으로 훈련할 수 있게 한다.
• 팀의 ILSVRC 2014 대회 참가 결과 평균 오차 8.06% 대비 1000개 클래스 중 824개 클래스에서 top-5 오차가 감소하였다.
• 이 방법은 세분화된 인식 과제에서 뛰어난 성능을 보이며, 인간에게 어려운 카테고리인 'coucal'과 'yellow lady’s slipper'를 정확히 분류하는 데 성공하였다.