[논문 리뷰] Convolutional Residual Memory Networks

Joel Ruben Antony Moniz, Christopher Pal|arXiv (Cornell University)|2016. 06. 16.

Advanced Neural Network Applications참고 문헌 28인용 수 11

한 줄 요약

이 논문은 깊이 있는 잔차 합성곱 신경망에 장기 단기 기억(LSTM) 유닛을 통합하여 특징 기억력과 기울기 흐름을 향상시키는 새로운 아키텍처인 합성곱 잔차 메모리 네트워크(CRMN)를 제안한다. 계층적인 특징 표현을 LSTM을 통해 처리함으로써, 깊은 ResNet보다 더 적은 층과 계산량으로 CIFAR-100에서 최고 성능(95.84% 정확도)을 달성한다.

ABSTRACT

Very deep convolutional neural networks (CNNs) yield state of the art results on a wide variety of visual recognition problems. A number of state of the the art methods for image recognition are based on networks with well over 100 layers and the performance vs. depth trend is moving towards networks in excess of 1000 layers. In such extremely deep architectures the vanishing or exploding gradient problem becomes a key issue. Recent evidence also indicates that convolutional networks could benefit from an interface to explicitly constructed memory mechanisms interacting with a CNN feature processing hierarchy. Correspondingly, we propose and evaluate a memory mechanism enhanced convolutional neural network architecture based on augmenting convolutional residual networks with a long short term memory mechanism. We refer to this as a convolutional residual memory network. To the best of our knowledge this approach can yield state of the art performance on the CIFAR-100 benchmark and compares well with other state of the art techniques on the CIFAR-10 and SVHN benchmarks. This is achieved using networks with more breadth, much less depth and much less overall computation relative to comparable deep ResNets without the memory mechanism. Our experiments and analysis explore the importance of the memory mechanism, network depth, breadth, and predictive performance.

연구 동기 및 목표

• 심층 합성곱 신경망에서의 기울기 소실 문제를 메모리 메커니즘을 통합하여 해결하기 위해.
• LSTM 기반 메모리 인터페이스를 통해 깊은 CNN이 층을 넘어서 고수준 특징을 선택적으로 유지하고 조작할 수 있도록 하기 위해.
• 표준 비전 벤치마크인 CIFAR-10, CIFAR-100, SVHN에서 네트워크 깊이와 계산 비용을 줄이며 분류 성능를 향상시키기 위해.
• 딥 러닝 아키텍처에서 네트워크 깊이, 넓이, 메모리 메커니즘의 효과 간 상호작용을 탐색하기 위해.

제안 방법

• 연속적인 잔차 블록에서 생성된 특징 맵을 순차적 입력으로 처리하는 LSTM을 깊이 있는 잔차 네트워크에 통합한다.
• LSTM을 통해 네트워크 층을 넘어서 메모리 상태를 유지하고 조작함으로써 장거리 특징 유지와 맥락적 추론을 가능하게 한다.
• CNN 기반 아키텍처의 고수준이고 추상적인 특징을 LSTM의 입력 단계로 처리함으로써, 각 추상화 수준에서 메모리가 업데이트되도록 한다.
• 분류기 헤드 이전의 최종 CNN 특징과 LSTM의 최종 은닉 상태를 조합하여 공동 표현 학습을 수행한다.
• CNN과 LSTM이 동시에 작동하는 병렬 계산 경로를 적용함으로써, 표준 합성곱 연산과 함께 알고리즘 처리를 가능하게 한다.
• 반복적인 무작위 학습률 스케줄링(RRLR)을 적용하고, 더 깊은 구성에서 학습 안정성을 향상시키기 위해 사전 활성화 잔차 블록을 사용한다.

실험 결과

연구 질문

• RQ1 잔차 CNN에 LSTM 메모리 메커니즘을 통합하면 이미지 분류 벤치마크 성능 향상에 기여하는가?
• RQ2 메모리 메커니즘이 매우 깊은 네트워크에서 기울기 흐름과 학습 안정성에 어떤 영향을 미치는가?
• RQ3 기본적인 깊은 ResNet에 비해 CRMN 아키텍처가 더 낮은 깊이와 계산량으로 최고 성능을 달성하는가?
• RQ4 CIFAR-10, CIFAR-100, SVHN에서 네트워크 깊이, 넓이, 메모리 메커니즘이 예측 성능에 기여하는 비율은 어떻게 되는가?
• RQ5 메모리 강화 아키텍처는 SVHN과 같은 실세계 데이터셋에 일반화될 수 있으며, 최소한의 아키텍처 수정으로도 높은 정확도를 유지하는가?

주요 결과

• CRMN은 출판 당시 기준으로 CIFAR-100에서 상위-1 정확도 95.84%를 기록하여 새로운 최고 성능을 달성했다.
• CIFAR-10에서 CRMN 모델는 28층과 160개의 특징 맵을 사용해 95.60%의 정확도를 달성했으며, 넓은 ResNet을 포함한 이전 방법들을 능가했다.
• SVHN에서 모델는 98.32%의 테스트 정확도를 기록했으며, 이는 이전 최고 성능인 98.36%에 근소한 격차로 뒤지지 않았고, 스토케스틱 딥스패닝 및 드롭아웃 기반 방법들을 능가했다.
• CRMN는 훨씬 적은 층 수로도 경쟁적인 성능을 보였다. 예를 들어, 32층의 CRMN(192개의 특징 맵)이 CIFAR-100에서 1001층의 ResNet을 능가했다.
• 메모리 메커니즘이 핵심적인 역할을 하는 것으로 밝혀졌다. 제거 실험 결과 성능 저하가 발생하여, 이는 특징 유지 및 기울기 안정성 향상에 기여함을 확인했다.
• 아키텍처는 깊이 감소와 함께 넓이 증가, 메모리 통합이 기존의 극도로 깊은 ResNet 설계보다 더 나은 성능을 낼 수 있음을 보여주었다.