[논문 리뷰] Evaluating Generalization Ability of Convolutional Neural Networks and Capsule Networks for Image Classification via Top-2 Classification

Hao Ren, Jianlin Su외 1명|arXiv (Cornell University)|2019. 01. 29.

Advanced Neural Network Applications참고 문헌 25인용 수 11

한 줄 요약

이 논문은 일반화 능력을 테스트하기 위해 랜덤으로 연결된 이중 클래스 이미지의 상위 두 레이블을 예측하는 새로운 평가 과제인 Top-2 분류를 제안한다. 이 과제에서 파라미터 공유 캡슐 레이어(PS CapsNet)는 파라미터 수를 줄이면서도 CNN 및 FC CapsNet보다 유의미하게 높은 정확도를 달성하여 뛰어난 일반화 능력을 입증한다. 또한 ProbAM이라는 새로운 시각화 방법을 통해 PS CapsNet이 CNN 및 FC CapsNet과 달리 관련 객체에 집중하는 것으로 확인된다.

ABSTRACT

Image classification is a challenging problem which aims to identify the category of object in the image. In recent years, deep Convolutional Neural Networks (CNNs) have been applied to handle this task, and impressive improvement has been achieved. However, some research showed the output of CNNs can be easily altered by adding relatively small perturbations to the input image, such as modifying few pixels. Recently, Capsule Networks (CapsNets) are proposed, which can help eliminating this limitation. Experiments on MNIST dataset revealed that capsules can better characterize the features of object than CNNs. But it's hard to find a suitable quantitative method to compare the generalization ability of CNNs and CapsNets. In this paper, we propose a new image classification task called Top-2 classification to evaluate the generalization ability of CNNs and CapsNets. The models are trained on single label image samples same as the traditional image classification task. But in the test stage, we randomly concatenate two test image samples which contain different labels, and then use the trained models to predict the top-2 labels on the unseen newly-created two label image samples. This task can provide us precise quantitative results to compare the generalization ability of CNNs and CapsNets. Back to the CapsNet, because it uses Full Connectivity (FC) mechanism among all capsules, it requires many parameters. To reduce the number of parameters, we introduce the Parameter-Sharing (PS) mechanism between capsules. Experiments on five widely used benchmark image datasets demonstrate the method significantly reduces the number of parameters, without losing the effectiveness of extracting features. Further, on the Top-2 classification task, the proposed PS CapsNets obtain impressive higher accuracy compared to the traditional CNNs and FC CapsNets by a large margin.

연구 동기 및 목표

• CNN과 CapsNet 간의 일반화 능력을 비교하기 위한 정량적 방법의 부족을 해결하기 위해.
• 모델의 강건성과 일반화 능력을 평가하기 위해 기존의 단일 레이블 이미지 분류보다 더 효과적인 평가 프로토콜을 개발하기 위해.
• 기존 CapsNet에서 높은 파라미터 수를 줄이되, 특징 표현 능력은 유지하거나 향상시키기 위해.
• 인퍼런스 중 CapsNet이 이미지의 관련 부분에 어떻게 집중하는지 이해할 수 있는 직관적인 시각화 도구를 제공하기 위해.
• 복잡한, 새로운 다중 객체 입력에서 CapsNet이 CNN보다 더 잘 일반화됨을 검증하기 위해.

제안 방법

• Top-2 분류 제안: 단일 레이블 이미지로 훈련하지만, 서로 다른 레이블을 가진 두 이미지를 무작위로 연결한 샘플로 테스트한다.
• 캡슐 간 파라미터 공유(PS) 메커니즘을 도입하여 캡슐 레이어의 파라미터 수를 줄인다.
• 완전 연결 캡슐 레이어 대신 PS 캡슐 레이어를 사용하는 PS CapsNet 모델을 설계한다.
• 예측 확률을 기반으로 캡슐이 주로 집중하는 이미지 영역을 강조하는 시각화 기법인 확률 유도 활성화 맵핑(ProbAM)을 개발한다.
• CNN에는 Grad-CAM을, CapsNet에는 ProbAM을 사용하여 주의 메커니즘을 비교 가능한 방식으로 시각화한다.
• STL-10, CIFAR-10 등 5개의 벤치마크 데이터셋에서 모델을 훈련하고 Top-2 분류 과제에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 기존 이미지 분류보다 일반화 능력을 평가하기 위한 더 효과적인 정량적 벤치마크로 Top-2 분류가 활용될 수 있는가?
• RQ2 제안된 PS CapsNet이 다중 객체 이미지 입력에서 표준 CNN 및 FC CapsNet보다 더 나은 일반화 능력을 보이는가?
• RQ3 복잡한, 새로운 이중 객체 이미지를 분류할 때 CapsNet의 주의 패턴은 CNN과 어떻게 다를까?
• RQ4 ProbAM 시각화 방법이 CapsNet에서 의미 있고 해석 가능한 주의 영역을 얼마나 잘 드러내는가?
• RQ5 캡슐 레이어에서의 파라미터 공유가 성능나 일반화 능력을 훼손하지 않으면서도 모델 복잡도를 줄일 수 있는가?

주요 결과

• PS CapsNet은 5개의 벤치마크 데이터셋 전반에서 CNN 및 FC CapsNet보다 유의미하게 높은 정확도를 달성하여 뛰어난 일반화 능력을 입증했다.
• STL-10 데이터셋에서 PS CapsNet은 단일 레이블 이미지에서 75.36%의 테스트 정확도를 기록했으며, 이는 이중 레이블 이미지에서도 강력한 성능 유지를 보여, 효과적인 특징 학습 능력을 입증했다.
• ProbAM 시각화 결과, PS CapsNet은 이중 레이블 이미지에서 두 객체 모두에 정확히 집중하는 반면, CNN은 객체와 배경을 구분하지 못하고, FC CapsNet은 오직 한 객체에만 집중하는 것으로 나타났다.
• 모든 모델(CNN, FC CapsNet, PS CapsNet)의 첫 번째 합성곱 레이어는 객체 윤곽을 탐지하고 배경 노이즈를 억제하는 데 성공했으며, 이는 인간의 시각 처리 원칙과 일치한다.
• PS 캡슐 레이어는 FC 캡슐 레이어 대비 파라미터 수를 줄여 성능에 손상 없이 모델 효율성을 향상시켰다.
• ProbAM의 정성적 결과는 PS CapsNet이 특히 다중 객체 시나리오에서 CNN 및 FC CapsNet보다 더 강력하고 의미 있는 표현을 학습한다는 것을 확인했으며, 이는 일반화 능력 향상에 기여한다.