[논문 리뷰] Batch-normalized Maxout Network in Network

Jia-Ren Chang, Yong‐Sheng Chen|arXiv (Cornell University)|2015. 11. 09.

Neural Networks and Applications참고 문헌 24인용 수 89

한 줄 요약

이 논문은 네트워크 인 네트워크 프레임워크 내에서 표준 다층 퍼셉트론(MLP)을 maxout MLP로 대체하여 특징 추상화 능력과 모델의 분류 능력을 향상시키는 Maxout Network in Network(MIN)이라는 딥 러닝 아키텍처를 제안한다. 배치 정규화, 드롭아웃, 평균 풀링을 통합하여 기울기 포화를 줄이고 과적합을 방지하며 공간 정보를 유지함으로써, MNIST, CIFAR-10, CIFAR-100에서 최고 성능을 기록하였고, SVHN에서도 우수한 성능을 보였다.

ABSTRACT

This paper reports a novel deep architecture referred to as Maxout network In Network (MIN), which can enhance model discriminability and facilitate the process of information abstraction within the receptive field. The proposed network adopts the framework of the recently developed Network In Network structure, which slides a universal approximator, multilayer perceptron (MLP) with rectifier units, to exact features. Instead of MLP, we employ maxout MLP to learn a variety of piecewise linear activation functions and to mediate the problem of vanishing gradients that can occur when using rectifier units. Moreover, batch normalization is applied to reduce the saturation of maxout units by pre-conditioning the model and dropout is applied to prevent overfitting. Finally, average pooling is used in all pooling layers to regularize maxout MLP in order to facilitate information abstraction in every receptive field while tolerating the change of object position. Because average pooling preserves all features in the local patch, the proposed MIN model can enforce the suppression of irrelevant information during training. Our experiments demonstrated the state-of-the-art classification performance when the MIN model was applied to MNIST, CIFAR-10, and CIFAR-100 datasets and comparable performance for SVHN dataset.

연구 동기 및 목표

• ReLU 유닛을 사용할 경우 발생하는 기울기 소실 및 포화 문제를 해결하기 위해.
• 초기 레이어에서 학습된 특징의 분류 능력과 강건성을 향상시키기 위해.
• 배치 정규화와 드롭아웃을 통해 내부 공변량 이동을 줄이고 과적합을 방지하기 위해.
• 국소 수용장역의 평균 풀링을 통해 공간 이동에 대한 내성을 향상시키고 정보 추상화 능력을 강화하기 위해.
• 목표 물체와 방해 요소의 특징을 모두 유지하고 구별할 수 있도록 하여 효과적인 다중 물체 인식을 가능하게 하기 위해.

제안 방법

• 네트워크 인 네트워크의 표준 다층 퍼셉트론(MLP)을 조각별 선형 활성화 함수를 학습할 수 있는 이중층 maxout MLP로 대체한다.
• 각 maxout 레이어 이전에 배치 정규화를 적용하여 입력을 사전 조정하고 내부 공변량 이동을 줄인다.
• 학습 중 드롭아웃을 통합하여 뉴런 간의 상호 적응을 방지하고 과적합을 줄인다.
• 모든 풀링 레이어에서 최대 풀링 대신 평균 풀링을 사용하여 국소 특징을 모두 유지하고 물체 위치 변화에 대한 강건성을 향상시킨다.
• 최종 합성곱 레이어 이후에 글로벌 평균 풀링을 적용하여 공간 정보를 집계하고 완전 연결 레이어를 대체한다.
• 합성곱, maxout MLP, 배치 정규화, 드롭아웃, 평균 풀링을 조합한 MIN 블록을 재사용 가능한 단위로 설계하여 계층적 특징 추상화를 구현한다.

실험 결과

연구 질문

• RQ1 딥 네트워크에서 ReLU 기반 MLP와 비교해 볼 때, maxout MLP는 특징 추상화 능력 향상과 기울기 포화 감소에 기여하는가?
• RQ2 제안된 아키텍처에서 배치 정규화는 내부 공변량 이동을 어느 정도 완화하고 학습 안정성을 향상시키는가?
• RQ3 공간 변화에 대한 강건성과 관련된 관련 특징 유지 측면에서, 평균 풀링은 최대 풀링보다 우수한가?
• RQ4 복잡한 환경에서 인간 시각 체계와 유사하게 목표 물체와 방해 요소를 효과적으로 인식할 수 있는가?
• RQ5 maxout MLP와 평균 풀링의 통합이 MNIST, CIFAR-10, CIFAR-100, SVHN과 같은 표준 벤치마크 데이터셋에서 최고 성능을 달성하는가?

주요 결과

• MIN 모델은 MNIST, CIFAR-10, CIFAR-100 데이터셋에서 기존 방법들인 NIN과 DSN을 초월하는 최고 수준의 분류 정확도를 달성하였다.
• SVHN 데이터셋에서는 최고 수준의 모델들과 유사한 성능을 기록하여, 목표 숫자와 방해 요소를 모두 효과적으로 인식하는 강건성을 입증하였다.
• 특징 맵의 시각화 결과, MIN은 NIN보다 더 직관적이고 분류 능력이 뛰어난 표현을 전경 물체와 배경 영역 모두에서 학습하는 것으로 나타났다.
• SVHN에서 모델는 방해 요소를 런처업 예측으로 식별하여, 인간 시각 처리 방식과 유사한 효과적인 카테고리 표현과 특징 경쟁 메커니즘을 구현한 것으로 나타났다.
• 평균 풀링은 모든 국소 특징을 유지하여 관련 없는 정보의 억제를 향상시키고, 특히 공간 변화에 대한 일반화 능력을 향상시켰다.
• maxout MLP, 배치 정규화, 평균 풀링의 조합은 정량적·정성적 평가를 통해 모델의 강건성과 특징 추상화 능력을 크게 향상시켰다.