[논문 리뷰] Assessing four Neural Networks on Handwritten Digit Recognition Dataset (MNIST)

Feiyang Chen, Nan Chen외 2명|arXiv (Cornell University)|2018. 11. 16.

Handwritten Text Recognition Techniques참고 문헌 8인용 수 38

한 줄 요약

이 논문은 MNIST 손글씨 숫자 데이터셋에서 4가지 신경망 아키텍처—CNN, ResNet, DenseNet, 그리고 CapsNet 향상된 CNN—을 여러 데이터 분할(25%, 50%, 75%, 100%)에 대해 평가한다. 제안된 CapsNet 기반 모델은 전체 데이터셋에서 99.75%의 최고 정확도를 기록하며, 일반화 능력이 뛰어나 25%의 훈련 데이터로도 모든 기준 모델을 능가한다. 이는 이미지 인식 작업에서 데이터 효율성과 강건성의 잠재력을 보여준다.

ABSTRACT

Although the image recognition has been a research topic for many years, many researchers still have a keen interest in it[1]. In some papers[2][3][4], however, there is a tendency to compare models only on one or two datasets, either because of time restraints or because the model is tailored to a specific task. Accordingly, it is hard to understand how well a certain model generalizes across image recognition field[6]. In this paper, we compare four neural networks on MNIST dataset[5] with different division. Among them, three are Convolutional Neural Networks (CNN)[7], Deep Residual Network (ResNet)[2] and Dense Convolutional Network (DenseNet)[3] respectively, and the other is our improvement on CNN baseline through introducing Capsule Network (CapsNet)[1] to image recognition area. We show that the previous models despite do a quite good job in this area, our retrofitting can be applied to get a better performance. The result obtained by CapsNet is an accuracy rate of 99.75\%, and it is the best result published so far. Another inspiring result is that CapsNet only needs a small amount of data to get excellent performance. Finally, we will apply CapsNet's ability to generalize in other image recognition field in the future.

연구 동기 및 목표

• MNIST 데이터셋의 여러 데이터 분할에서 네 가지 신경망 모델—CNN, ResNet, DenseNet, 그리고 CapsNet 향상된 CNN—의 일반화 성능을 평가하기 위해.
• 공간적 관계와 동적 라우팅을 강조하는 새로운 아키텍처인 CapsNet이 이미지 인식 작업에서 표준 CNN 및 기타 딥러닝 모델을 능가할 수 있는지 조사하기 위해.
• 훈련 데이터를 줄인 경우(25%, 50%, 75%, 100%)의 성능을 비교하여 CapsNet의 데이터 효율성을 평가하기 위해.
• CapsNet의 아키텍처 혁신이 이미지 인식에서 더 나은 일반화와 강건성으로 이어지는지, 특히 낮은 데이터 환경에서 어떻게 작용하는지 확인하기 위해.

제안 방법

• 저자는 표준 CNN, ResNet, DenseNet, 그리고 CapsNet를 통합한 수정된 CNN을 훈련하고 평가하였다.
• MNIST 데이터셋은 훈련 데이터의 25%, 50%, 75%, 100%로 분할되어, 다양한 데이터 가용성 수준에서 모델 성능을 평가하기 위해 사용되었다.
• CapsNet는 캡슐 간 동적 라우팅을 사용하며, 라우팅 가중치는 예측과 실제 출력 간의 일치에 따라 업데이트된다. 활성화 함수로는 벡터 크기를 유지하는 데 기여하는 스쿼시링 함수를 사용한다.
• CapsNet 아키텍처는 컨볼루션 레이어(256개 필터, 9×9, 스트라이드 1), 프리미티브 캡슐 레이어(32개 캡슐, 각각 8×9×9×256 커널, 스트라이드 2), 디지트 캡슐 레이어(10개 캡슐, 각 숫자 클래스별로 하나)를 포함한다.
• 캡슐 출력에 스쿼시링 활성화 함수를 적용한다: $ v_j = \frac{||s_j||^2}{1+||s_j||^2} \cdot \frac{s_j}{||s_j||} $, 이는 활성화 벡터가 주의와 공간적 관계를 표현하도록 보장한다.
• 성능은 각 데이터 분할에서 테스트 세트의 분류 정확도를 측정함으로써 평가되었으며, 결과는 다양한 모델 간 비교되었다.

실험 결과

연구 질문

• RQ1 CapsNet은 MNIST 데이터셋에서 모든 데이터 분할에 대해 표준 CNN, ResNet, DenseNet보다 더 높은 정확도를 달성하는가?
• RQ2 CapsNet은 MNIST 훈련 데이터의 25%만으로도 기준 모델보다 뛰어난 성능을 보이는가?
• RQ3 CapsNet의 아키텍처 설계가 얼마나 뛰어난 일반화 및 강건성 능력을 제공하는가?
• RQ4 전통적인 CNN에 비해 훨씬 적은 훈련 데이터로도 CapsNet이 높은 성능을 유지할 수 있는가?

주요 결과

• CapsNet은 전체 MNIST 데이터셋에서 99.75%의 최고 테스트 정확도를 기록하였으며, CNN(98.32%), ResNet(99.16%), DenseNet(99.37%)를 모두 능가하였다.
• 25% 데이터 분할에서 CapsNet은 87.68%의 정확도를 기록하였으며, 전체 데이터 CNN 기준 모델(80.73%)을 초월하여 뛰어난 데이터 효율성을 보였다.
• CapsNet은 모든 데이터 분할에서 다른 모든 모델을 일관되게 능가하여 뛰어난 일반화 능력을 보였다.
• 훈련 데이터의 50%만으로도 CapsNet은 97.12%의 정확도를 달성하여 표준 CNN의 전체 데이터 성능에 가까워졌다.
• 결과는 CapsNet의 동적 라우팅과 벡터 기반 표현 방식이 정보 손실를 줄이고 입력 변형에 대한 강건성을 향상시킨다는 것을 시사한다.
• 작은 데이터 세트에서 CapsNet의 성능은 이미지 인식 분야에서 저데이터 기반 머신러닝 응용의 잠재력을 보여준다.