[논문 리뷰] Robust Classification with Convolutional Prototype Learning

Hongming Yang, Xu-Yao Zhang외 2명|arXiv (Cornell University)|2018. 05. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 28인용 수 27

한 줄 요약

이 논문은 기존의 소프트맥스 레이어를 특성 공간 내 유클리드 거리 기반의 프로토타입 분류로 대체하는 새로운 딥러닝 프레임워크인 컨볼루션 프로토타입 러닝(CPL)을 제안한다. 프로토타입 손실(PL)을 통해 컨볼루션 특징과 프로토타입을 동시에 학습시킴으로써, 내부 클래스의 밀도를 높이고 적대적 예제, 분포 외 샘플, 소규모 학습 세트에 대한 강건성을 향상시킨다. 표준 CNN과 비교해 유사하거나 더 높은 정확도를 달성하면서도 효과적인 클래스 증분 학습과 거부(rejection) 기능을 제공한다.

ABSTRACT

Convolutional neural networks (CNNs) have been widely used for image classification. Despite its high accuracies, CNN has been shown to be easily fooled by some adversarial examples, indicating that CNN is not robust enough for pattern classification. In this paper, we argue that the lack of robustness for CNN is caused by the softmax layer, which is a totally discriminative model and based on the assumption of closed world (i.e., with a fixed number of categories). To improve the robustness, we propose a novel learning framework called convolutional prototype learning (CPL). The advantage of using prototypes is that it can well handle the open world recognition problem and therefore improve the robustness. Under the framework of CPL, we design multiple classification criteria to train the network. Moreover, a prototype loss (PL) is proposed as a regularization to improve the intra-class compactness of the feature representation, which can be viewed as a generative model based on the Gaussian assumption of different classes. Experiments on several datasets demonstrate that CPL can achieve comparable or even better results than traditional CNN, and from the robustness perspective, CPL shows great advantages for both the rejection and incremental category learning tasks.

연구 동기 및 목표

• 표준 CNN의 강건성 부족 문제, 특히 분포 외 샘플에 대한 거부 능력 부족과 적대적 예제에 대한 취약성을 해결하기 위해.
• 고정된 카테고리가 있는 폐쇄 세계 설정을 가정하는 소프트맥스 기반 모델의 한계를 극복하기 위해.
• 재학습 없이도 새로운 클래스의 강건한 분류와 증분 학습을 지원하는 통합 프레임워크를 개발하기 위해.
• 학습 가능한 프로토타입 기반 정규화를 통해 특징 표현을 향상시키고, 내부 클래스의 밀도와 상하좌우 클래스 간 분리도를 높이기 위해.
• 프로토타입을 평균으로 사용해 클래스 분포를 가우시안 혼합 모델로 모델링함으로써 개방 세계 인식을 효과적으로 구현하기 위해.

제안 방법

• CPL은 컨볼루션 네트워크 백본을 사용해 특징을 추출하며, 마지막 소프트맥스 레이어를 특성 공간 내 가장 가까운 프로토타입에 대한 매칭 기반의 결정 함수로 대체한다.
• 프로토타입 손실(PL)이 정규화 항으로 도입되어, 특징 표현과 해당 클래스의 프로토타입 간 유클리드 거리를 최소화함으로써 내부 클래스의 밀도를 증진시킨다.
• 백프로파게이션을 통해 컨볼루션 특징 추출기와 프로토타입을 엔드 투 엔드로 동시에 최적화함으로써 사전 정의된 규칙 없이 데이터 기반 프로토타입 학습을 가능하게 한다.
• 프로토타입 기반 모델은 각 클래스를 평균이 프로토타입인 가우시안 분포로 모델링하는 하이브리드 분류-생성 모델로 해석되며, 확률적 추론을 가능하게 한다.
• 일반화된 CPL(GCPL) 프레임워크는 새로운 클래스에 대한 프로토타입을 직접 추가함으로써 전체 네트워크를 재학습하지 않고도 증분 학습을 지원한다.
• 효과적인 네트워크 학습을 위해 다수의 분류 기준과 손실 함수가 설계되었으며, DCE 손실과 프로토타입 손실이 포함되어 안정적인 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 표준 소프트맥스 기반 CNN과 비교해, 프로토타입 기반 분류 프레임워크는 적대적 예제와 분포 외 샘플에 대해 더 강건한가?
• RQ2 학습 가능한 프로토타입 손실을 통한 프로토타입 기반 학습은 특징 표현의 내부 클래스 밀도와 상하좌우 클래스 간 분리도에 어떤 영향을 미치는가?
• RQ3 GCPL은 전체 모델을 재학습하지 않고도 새로운 클래스의 증분 학습을 어느 정도 지원할 수 있는가?
• RQ4 소규모 샘플 크기(SSF) 조건에서 GCPL은 표준 CNN이 과적합되거나 실패하는 상황에서도 어떻게 성능을 발휘하는가?
• RQ5 복잡한 다중 모달 분포를 가진 데이터에서 클래스당 다수의 프로토타입을 사용하면 성능 향상이 이루어지는가?

주요 결과

• GCPL은 10개의 알려진 클래스가 있는 CIFAR-10에서 99.27%의 테스트 정확도를 달성했으며, 새로운 클래스를 증분 추가한 11개 클래스 테스트 세트에서도 99.20~99.24%의 정확도를 기록하여 클래스 증분 학습에서 뛰어난 성능을 보였다.
• 소규모 학습 세트(예: MNIST의 5%) 조건에서 GCPL은 96.44%의 정확도를 유지하며 변동성이 낮음(±0.40)을 보였고, 소프트맥스 기반 CNN은 정확도가 73.95%로 떨어지고 변동성이 높음(±6.10)을 보여, 소규모 샘플 크기 문제에 대해 훨씬 더 강건함을 입증했다.
• 프로토타입 손실(PL)은 내부 클래스의 밀도를 크게 향상시켜, 분류에 더 강건하고 구분력 있는 특징 표현을 만들어내며 분포 이탈에 민감도가 낮아졌다.
• 클래스당 다수의 프로토타입(K=2~5)을 사용하더라도 GCPL의 성능은 안정적으로 유지되었으며(CIFAR-10에서 90.37~90.70%), CNN 특징 변환 후에는 일반적으로 하나의 프로토타입만으로도 충분함을 시사했다.
• GCPL은 효과적인 아웃라이어 거부 기능을 제공한다: 알려지지 않은 클래스의 샘플은 알려진 클래스에 대해 높은 신뢰도를 부여하지 않으며, 반면 소프트맥스 기반 모델은 알려지지 않은 입력에 대해 높은 신뢰도를 부여한다.
• 가우시안 혼합 모델링을 통한 생성적 해석 덕분에 GCPL은 베이지안 방법과 통합되어 개방 세계 상황에서의 일반화 및 강건성을 향상시킬 수 있다.