[논문 리뷰] ReNet: A Recurrent Neural Network Based Alternative to Convolutional Networks

Francesco Visin, Kyle Kastner외 4명|arXiv (Cornell University)|2015. 05. 03.

Advanced Neural Network Applications참고 문헌 58인용 수 234

한 줄 요약

ReNet는 깊이 있는 네트워크의 합성곱 및 풀링 레이어를 대체하기 위해 수평과 수직 방향으로 각각 두 개씩 총 네 개의 단방향 RNN을 사용하는 순환 신경망 아키텍처를 제안한다. MNIST, CIFAR-10, SVHN에서 평가한 결과, ReNet는 경쟁력 있는 정확도를 기록했다 (MNIST에서 테스트 오차 0.45%, CIFAR-10에서 12.35%, SVHN에서 2.38%), 이는 RNN이 이미지 인식 작업에서 CNN의 타당한 대안이 될 수 있음을 보여준다.

ABSTRACT

In this paper, we propose a deep neural network architecture for object recognition based on recurrent neural networks. The proposed network, called ReNet, replaces the ubiquitous convolution+pooling layer of the deep convolutional neural network with four recurrent neural networks that sweep horizontally and vertically in both directions across the image. We evaluate the proposed ReNet on three widely-used benchmark datasets; MNIST, CIFAR-10 and SVHN. The result suggests that ReNet is a viable alternative to the deep convolutional neural network, and that further investigation is needed.

연구 동기 및 목표

• 순환 신경망(RNN)이 이미지 인식 작업에서 합성곱 신경망(CNN)의 타당한 대안이 될 수 있는지 탐색하는 것.
• CNN의 국소적 수신장의 한계를 극복하기 위해 이미지 특징의 순차적 처리를 통해 전역적 맥락 모델링을 가능하게 하는 것.
• 다차원 RNN의 지수적 복잡도를 피하면서도 전역적 맥락 인식 능력을 유지하는 계산적으로 효율적인 RNN 기반 아키텍처를 설계하는 것.
• 제안된 ReNet 아키텍처의 성능을 표준 객체 인식 벤치마크 데이터셋에서 평가하는 것.
• 적절하게 구성된 RNN이 상태 최적의 CNN과 유사한 성능을 달성할 수 있음을 보여주는 것.

제안 방법

• ReNet 아키텍처는 CNN의 각 합성곱 + 풀링 레이어를 상하, 하상, 좌우, 우좌 방향으로 각각 처리하는 네 개의 단방향 RNN으로 대체한다.
• 각 RNN은 입력 이미지의 겹치지 않는 패치를 처리하며, 스위프트 방향에 따라 은닉 상태를 순차적으로 갱신하여 각 출력 활성화가 전체 이미지 맥락에 의존하도록 한다.
• 장거리 의존성을 포착하기 위해 각 방향에 대해 두 개의 별도된 RNN(전진 및 역방향)을 사용하며, 최종 출력은 네 개의 RNN에서 유도된 특징을 연결하거나 통합하여 형성된다.
• 모듈러하고 계층적인 아키텍처로, 각 레이어가 이전 레이어의 특징 맵을 처리하여 깊이 있는 계층적 표현 학습이 가능하다.
• 간단한 RNN 대신 게이팅된 순환 단위(GRUs 또는 LSTMs)를 사용하여 이미지 전역에서 장기 의존성을 더 잘 포착한다.
• 표준 시간을 거슬러 역전파(backpropagation through time)를 사용하여 학습하며, 전진 및 역방향 RNN을 별도로 처리함으로써 병렬 처리가 가능하다.

실험 결과

연구 질문

• RQ1 순환 신경망 아키텍처가 표준 이미지 인식 벤치마크에서 합성곱 신경망과 유사한 성능을 달성할 수 있는가?
• RQ2 이미지 특징을 횡단하는 양방향 RNN의 사용이 국소적 합성곱 연산보다 전역 공간 맥락을 더 잘 모델링하는가?
• RQ3 MNIST, CIFAR-10, SVHN에서 제안된 ReNet 아키텍처가 최신 기술의 CNN과 정확도 및 효율성 측면에서 어떻게 비교되는가?
• RQ4 ReNet 아키텍처에서 표준 RNN 대비 게이팅된 순환 단위(GRUs/LSTMs) 사용이 이미지 인식 성능에 미치는 영향은 무엇인가?
• RQ5 순수하게 RNN 기반 아키텍처가 합성곱 연산의 인도적 편향 없이 이미지 데이터의 계층적 표현을 효과적으로 학습할 수 있는가?

주요 결과

• ReNet는 MNIST 데이터셋에서 테스트 오차 0.45%를 기록하여 최고 성능을 내는 모델 중 하나로, 최신 기술의 CNN과 유사한 성능을 보였다.
• CIFAR-10에서 ReNet는 테스트 오차 12.35%를 기록하여 다른 딥 러닝 모델과 비교해도 경쟁력 있는 성능을 보였지만, 최고 성능의 CNN을 능가하지는 못했다.
• SVHN 데이터셋에서 ReNet는 테스트 오차 2.38%를 기록하여 더 복잡한 실세계 이미지 분류 작업에서 뛰어난 성능을 보였다.
• 결과는 ReNet가 장거리 공간 의존성을 순차적 처리를 통해 모델링할 수 있다는 점을 감안할 때, 이미지 인식에서 CNN의 타당한 대안이 될 수 있음을 시사한다.
• 게이팅된 순환 단위(GRUs 또는 LSTMs)의 사용은 표준 RNN보다 성능 향상을 크게 이끌었으며, 이는 장기적인 공간 의존성을 효과적으로 학습했음을 시사한다.
• 비록 경쟁력 있는 정확도를 기록했지만, ReNet는 세 가지 벤치마크 데이터셋 중 어느 하나에서도 최신 기술의 CNN을 능가하지 못했으며, 이는 향후 아키텍처 혁신과 최적화의 여지가 있음을 시사한다.