[논문 리뷰] Network In Network

Min Lin, Qiang Chen외 1명|arXiv (Cornell University)|2014. 03. 04.

Neural Networks and Applications인용 수 1,037

한 줄 요약

이 논문은 전통적인 컨볼루션 필터를 각 수신 영역 내의 마이크로 신경망(특히 다층 퍼셉트론)으로 대체함으로써 국소적 특징 추출 능력을 향상시키는 딥 컨볼루션 신경망 아키텍처인 네트워크 인 네트워크(NIN)를 제안한다. 이러한 유닛들을 쌓고 완전 연결 층 대신 글로벌 평균 풀링을 사용함으로써 NIN은 과적합을 줄이고 해석 가능성을 향상시키며, CIFAR-10과 CIFAR-100에서 최신 기준 성능을 달성한다.

ABSTRACT

Abstract: We propose a novel deep network structure called In Network (NIN) to enhance model discriminability for local patches within the receptive field. The conventional convolutional layer uses linear filters followed by a nonlinear activation function to scan the input. Instead, we build micro neural networks with more complex structures to abstract the data within the receptive field. We instantiate the micro neural network with a multilayer perceptron, which is a potent function approximator. The feature maps are obtained by sliding the micro networks over the input in a similar manner as CNN; they are then fed into the next layer. Deep NIN can be implemented by stacking mutiple of the above described structure. With enhanced local modeling via the micro network, we are able to utilize global average pooling over feature maps in the classification layer, which is easier to interpret and less prone to overfitting than traditional fully connected layers. We demonstrated the state-of-the-art classification performances with NIN on CIFAR-10 and CIFAR-100, and reasonable performances on SVHN and MNIST datasets.

연구 동기 및 목표

• 선형 필터를 더 복잡하고 비선형적인 구조로 대체함으로써 컨볼루션 신경망 내 국소적 특징 표현을 향상시키기.
• 완전 연결 층을 글로벌 평균 풀링으로 대체함으로써 딥 네트워크의 과적합을 줄이기.
• 기존 완전 연결 층의 높은 파라미터 수를 제거함으로써 모델의 해석 가능성 향상시키기.
• 광범위한 아키텍처 수정 없이도 표준 이미지 분류 벤치마크에서 최신 기준 성능 달성하기.

제안 방법

• 각 수신 영역 내에서 작동하는 소형 다층 퍼셉트론(MLP)으로 표준 컨볼루션 필터를 대체하여 국소 패턴을 비선형적으로 모델링하기.
• 입력 특징 맵을 마이크로-MLP의 입력으로 변환하기 위해 1x1 컨볼루션 레이어를 사용하여 공간 위치 간의 파라미터 공유 가능하게 하기.
• 마이크로 네트워크 내 각 완전 연결 레이어 뒤에 비선형 활성화 함수를 적용하여 표현 능력 향상시키기.
• 다중 NIN 블록을 스택하여 깊은 아키텍처를 구성하고, 각 블록이 이전 레이어의 특징 맵을 처리하도록 하기.
• 기존 CNN의 최종 완전 연결 레이어를 글로벌 평균 풀링으로 대체하여 파라미터 수와 과적합을 줄이기.
• 표준 최적화 기법을 사용하여 백프로파게이션을 통해 전체 네트워크를 엔드 투 엔드로 훈련하기.

실험 결과

연구 질문

• RQ1 선형 컨볼루션 필터를 소형 완전 연결 네트워크로 대체하면 컨볼루션 레이어 내 국소적 특징 추출 능력이 향상되는가?
• RQ2 완전 연결 레이어 대신 글로벌 평균 풀링을 사용하면 딥 네트워크에서 더 나은 일반화 성능과 과적합 감소가 이루어지는가?
• RQ3 마이크로-MLP 유닛을 갖춘 더 깊은 네트워크가 표준 이미지 분류 벤치마크에서 최신 기준 성능을 달성할 수 있는가?
• RQ4 CIFAR-10, CIFAR-100, SVHN, MNIST에서 표준 CNN과 비교해 NIN 아키텍처의 성능 및 내구성은 어떠한가?

주요 결과

• NIN은 CIFAR-10 데이터셋에서 최신 기준 성능을 달성하며, 일반화 성능 향상으로 이전 방법들을 능가했다.
• CIFAR-100에서 NIN은 높은 분류 정확도를 보이며 더 복잡한 이미지 인식 작업으로의 효과적인 확장성을 입증했다.
• SVHN과 MNIST에서도 합리적인 성능을 기록하여 다양한 데이터셋에 대한 강건성을 확인했다.
• 최종 레이어에서 글로벌 평균 풀링을 사용함으로써 완전 연결 레이어 대비 파라미터 수가 크게 감소했고 과적합이 완화되었다.
• 각 수신 영역 내 마이크로-MLP 아키텍처는 표준 컨볼루션 필터보다 더 표현력 있는 국소적 특징 모델링을 가능케 했다.
• 전반적인 아키텍처는 밀집 레이어를 제거하고 글로벌 평균 풀링을 사용함으로써 더 향상된 해석 가능성과 함께 성능을 보였다.