[논문 리뷰] Implementation of Deep Convolutional Neural Network in Multi-class Categorical Image Classification

P. P. Murugan|arXiv (Cornell University)|2018. 01. 03.

Brain Tumor Detection and Classification인용 수 13

한 줄 요약

이 논문은 베이지안 하이퍼파rameter 최적화를 사용하여 다중 클래스 범주형 이미지 분류를 위한 최적화된 딥 컨volution 네트워크(CNN) 아키텍처를 제안한다. 모델은 ReLU 활성화 함수, 맥스 풀링, 드롭아웃 정규화, 배치 정규화 및 Adam 옵티마이저를 활용하며, 조기 정지와 데이터 증강을 통해 훈련한 후 4개 클래스로 구성된 이미지 데이터셋에서 검증 정확도 92%를 달성한다.

ABSTRACT

Convolutional Neural Networks has been implemented in many complex machine learning takes such as image classification, object identification, autonomous vehicle and robotic vision tasks. However, ConvNet architecture efficiency and accuracy depend on a large number of fac- tors. Also, the complex architecture requires a significant amount of data to train and involves with a large number of hyperparameters that increases the computational expenses and difficul- ties. Hence, it is necessary to address the limitations and techniques to overcome the barriers to ensure that the architecture performs well in complex visual tasks. This article is intended to develop an efficient ConvNet architecture for multi-class image categorical classification applica- tion. In the development of the architecture, large pool of grey scale images are taken as input information images and split into training and test datasets. The numerously available technique is implemented to reduce the overfitting and poor generalization of the network. The hyperpa- rameters of determined by Bayesian Optimization with Gaussian Process prior algorithm. ReLu non-linear activation function is implemented after the convolutional layers. Max pooling op- eration is carried out to downsampling the data points in pooling layers. Cross-entropy loss function is used to measure the performance of the architecture where the softmax is used in the classification layer. Mini-batch gradient descent with Adam optimizer algorithm is used for backpropagation. Developed architecture is validated with confusion matrix and classification report.

연구 동기 및 목표

• 다중 클래스 이미지 분류 작업을 위한 효율적인 딥 컨볼루션 네트워크 아키텍처를 개발하는 것.
• 드롭아웃, L1/L2 정규화 및 데이터 증강과 같은 정규화 기법을 통해 과적합 및 일반화 성능 열악함을 해결하는 것.
• 가우스 프로세스 사전분포를 사용한 베이지안 최적화를 통해 하이퍼파rameter를 최적화하여 모델 성능과 수렴성을 향상시키는 것.
• 혼동 행렬과 분류 보고서를 사용하여 클래스별 성능과 견고성을 평가하기 위해 모델을 검증하는 것.

제안 방법

• 아키텍처는 11개의 레이어로 구성되며, 32, 64, 64, 64개의 학습 가능한 커널을 가진 네 개의 컨볼루션 레이어로 구성되며, 그 다음으로 맥스 풀링과 ReLU 활성화 함수가 이어진다.
• 각 컨볼루션 레이어 뒤에는 배치 정규화와 드롭아웃(0.2%)이 따라와 과적합을 줄이고 일반화 성능을 향상시킨다.
• 128개의 유닛을 가진 네 개의 완전 연결 밀집 레이어를 사용하며, 일반화 성능 향상을 위해 L1 및 L2 정규화와 드롭아웃을 통합한다.
• 최종 분류 레이어는 소프트맥스 활성화 함수와 분류 오차를 계산하기 위한 다중 분류 교차 엔트로피 손실을 사용한다.
• 미니배치 경량 하강법을 사용하여 역전파를 수행하며, 수렴 속도를 높이기 위해 Adam 옵티마이저를 사용한다.
• 검증 손실이 향상되지 않을 경우 훈련을 중단하는 조기 정지를 적용하여 과적합을 방지한다.

실험 결과

연구 질문

• RQ1 제한된 과적합을 동반하면서도 다중 클래스 이미지 분류에 최적화된 딥 CNN 아키텍처는 어떻게 설계할 수 있는가?
• RQ2 다중 클래스 이미지 분류 작업에서 가장 높은 일반화 성능을 내는 하이퍼파rameter 설정은 무엇인가?
• RQ3 드롭아웃, 배치 정규화 및 조기 정지와 같은 정규화 기법은 모델의 견고성 향상에 얼마나 효과적인가?
• RQ4 무작위 또는 그리드 서치에 비해 가우스 프로세스 사전분포를 사용한 베이지안 최적화가 하이퍼파ram터 선택에 얼마나 향상되는가?

주요 결과

• 제안된 CNN 아키텍처는 테스트 세트에서 검증 정확도 92%를 달성하여 다중 클래스 이미지 분류에서 뛰어난 성능을 보였다.
• 훈련 정확도는 93%에 도달하여 상당한 과소적합 없이 효과적인 학습이 이루어졌음을 나타냈다.
• 클래스-1(horse)과 클래스-0(human)가 가장 높은 인식률을 보였으며, 고양이와 개는 외관상 유사성으로 인해 성능이 가장 낮았다.
• 혼동 행렬은 고양이와 개 사이의 잘못 분류가 가장 빈번하게 발생했음을 보여주었으며, 각각 11건의 잘못 분류가 있었다.
• 분류 보고서는 모든 클래스에서 평균 F1 점수 0.92, 정밀도 0.92, 재현율 0.92를 기록하여 균형 잡힌 성능을 보였다.
• 학습 곡선은 안정적인 수렴을 보였으며, 에포크 30 이후 훈련 손실과 검증 손실 간의 분리가 미미하여 과적합이 최소화된 것으로 나타났다.