[논문 리뷰] Rethinking Recurrent Neural Networks and Other Improvements for Image Classification

Nguyen Huu Phong, Bernardete Ribeiro|arXiv (Cornell University)|2020. 07. 30.

Advanced Neural Network Applications참고 문헌 92인용 수 7

한 줄 요약

이 논문은 이미지 분류를 위해 순환 신경망(RNN), 특히 LSTM 및 GRU를 합성곱 신경망(ConvNets)의 핵심 레이어로 통합하고, 엔드 투 엔드 다중모델 앙상블 전략을 함께 제안한다. 이 방법은 SVHN(0.99), Cifar-10(0.9852), Cifar-100(0.9027)에서 최고 성능을 기록하며, Surrey 데이터셋(0.949)에서는 새로운 기록을 수립하여 RNN이 순차적 생성 작업을 넘어서 이미지 인식에 기여할 수 있음을 보여준다.

ABSTRACT

Over the long history of machine learning, which dates back several decades, recurrent neural networks (RNNs) have been used mainly for sequential data and time series and generally with 1D information. Even in some rare studies on 2D images, these networks are used merely to learn and generate data sequentially rather than for image recognition tasks. In this study, we propose integrating an RNN as an additional layer when designing image recognition models. We also develop end-to-end multimodel ensembles that produce expert predictions using several models. In addition, we extend the training strategy so that our model performs comparably to leading models and can even match the state-of-the-art models on several challenging datasets (e.g., SVHN (0.99), Cifar-100 (0.9027) and Cifar-10 (0.9852)). Moreover, our model sets a new record on the Surrey dataset (0.949). The source code of the methods provided in this article is available at https://github.com/leonlha/e2e-3m and http://nguyenhuuphong.me.

연구 동기 및 목표

• 고급 RNN 아키텍처가 전통적으로 순차적 데이터 처리에 사용된 것 외에도 이미지 분류 성능 향상에 기여할 수 있는지 조사한다.
• 전문 모델의 예측을 학습하여 성능을 향상시키는 엔드 투 엔드 다중모델 앙상블을 설계한다.
• 학습률 스케줄링과 소프트맥스 프루닝을 포함한 향상된 훈련 전략을 개발하여 모델 정확도와 효율성을 향상시킨다.
• SVHN, Cifar-10/100 및 Surrey 데이터셋과 같은 다양한 데이터셋, 특히 도전적인 벤치마크에서 제안된 방법을 평가한다.
• RNN을 ConvNet에 통합함으로써 최신 기술 대비 경쟁력 있거나 우수한 성능을 낼 수 있음을 입증한다.

제안 방법

• 2D 이미지 데이터의 공간적 특징을 처리하기 위해 표준 RNN, LSTM, GRU 및 양방향 RNN을 ConvNet 아키텍처에 추가 레이어로 통합한다.
• 다양한 사전 훈련된 모델의 예측을 학습하는 데 사용되는 새로운 엔드 투 엔드 다중모델 앙상블(E2E-3M)을 도입하여 전문 지식의 공동 최적화를 가능하게 한다.
• 수렴성과 일반화 성능 향상을 위해 동적 학습률 전략과 테스트 시 증강 기법을 적용한다.
• 특히 Fashion-MNIST와 같은 작은 데이터셋에서 높은 정확도를 유지하면서 모델 복잡도를 줄이기 위해 소프트맥스 레이어 프루닝을 활용한다.
• 재현 가능성을 확보하기 위해 가상 환경과 Jupyter Notebook 기반의 구현을 사용하며, 코드는 GitHub에서 공개한다.
• 실제 환경 제약 조건을 반영하기 위해 Surrey 데이터셋에 대해 리브-원-아웃 교차검증을 수행하여 강건한 평가를 확보한다.

실험 결과

연구 질문

• RQ1 기존에 1D 순차적 데이터 처리에 사용된 RNN이, ConvNet 내에서 2D 이미지 분류에 효과적으로 적용될 수 있는가?
• RQ2 전문 모델 예측을 학습 대상으로 삼는 엔드 투 엔드 다중모델 앙상블이 단일 모델 또는 기존 앙상블 방법보다 우수한 성능을 낼 수 있는가?
• RQ3 학습률 스케줄링과 소프트맥스 프루닝을 포함한 정교한 훈련 전략이 제한된 컴퓨팅 자원에서도 최신 기술 수준의 성능을 달성하거나 초월할 수 있는가?
• RQ4 RNN 통합이 SVHN, Cifar-10/100 및 Surrey 데이터셋과 같은 도전적인 벤치마크에서 정확도와 효율성에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 ImageNet 및 iNaturalist와 같은 다양한 아키텍처와 데이터셋으로 일반화 가능한가?

주요 결과

• RNN 통합을 포함한 제안된 E2E-3M 모델은 SVHN 데이터셋에서 상위-1 정확도 0.99를 기록하여 최신 기술 수준에 도달했다.
• Cifar-10에서 모델은 상위-1 정확도 0.9852를 달성했으며, EfficientNetB5 및 InceptionResNetV2와 같은 선도적인 모델과 유사한 성능을 보였다.
• Cifar-100에서 모델은 상위-1 정확도 0.9027을 기록했으며, 대부분의 이전 방법보다 뛰어나고, 최고 보고된 결과와 동일한 성능을 달성했다.
• Surrey 데이터셋에서 모델은 상위-1 정확도 0.949를 기록하여 새로운 기록을 수립했으며, 이는 이전 최신 기술보다 1.4% 높은 성능이다.
• 엔드 투 엔드 앙상블 설계 덕분에 실시간 추론이 가능하며, 기존 파이프라인 기반 앙상블의 한계를 극복하고 시스템온칩 플랫폼에의 구현이 가능하다.
• 소프트맥스 프루닝과 적응형 학습률 스케줄링은 정확도를 희생시키지 않은 채 훈련 효율성과 모델 일반화 능력을 크게 향상시켰다.