[논문 리뷰] Deep CNN-based Multi-task Learning for Open-Set Recognition

Poojan Oza, Vishal M. Patel|arXiv (Cornell University)|2019. 03. 07.

Domain Adaptation and Few-Shot Learning참고 문헌 52인용 수 22

한 줄 요약

이 논문은 분류기, 특징 추출기, 복원 디코더를 동시에 훈련하는 딥 컨volution 네트워크 기반의 다중 작업 학습 프레임워크인 MLOSR를 제안한다. 재구성 오차와 극값 이론을 활용해 알 수 없는 샘플을 탐지함으로써 MLOSR는 최신 기술 수준의 성능을 달성하며, TinyImageNet에서 AUROC가 최대 5% 향상되었고, OOD 탐지에서 기준선 대비 평균 F1 점수 16.45% 향상되었다.

ABSTRACT

We propose a novel deep convolutional neural network (CNN) based multi-task learning approach for open-set visual recognition. We combine a classifier network and a decoder network with a shared feature extractor network within a multi-task learning framework. We show that this approach results in better open-set recognition accuracy. In our approach, reconstruction errors from the decoder network are utilized for open-set rejection. In addition, we model the tail of the reconstruction error distribution from the known classes using the statistical Extreme Value Theory to improve the overall performance. Experiments on multiple image classification datasets are performed and it is shown that this method can perform significantly better than many competitive open set recognition algorithms available in the literature. The code will be made available at: github.com/otkupjnoz/mlosr.

연구 동기 및 목표

• 오픈세트 조건에서 딥 컨volution 네트워크가 알 수 없는 클래스를 인식하는 데 한계가 있다는 문제를 해결하기 위해.
• 분류와 재구성 기반 이상 탐지 기법을 융합하여 오픈세트 인식 성능을 향상시키기 위해.
• 알 수 없는 샘플 거부를 향상시키기 위해 알려진 클래스의 재구성 오차 분포 꼬리 부분을 극값 이론으로 모델링하기 위해.
• 기존 클래스와 알 수 없는 클래스 모두의 특징 학습을 향상시키는 통합된 다중 작업 학습 프레임워크를 개발하기 위해.

제안 방법

• 다중 작업 학습 환경에서 분류기 네트워크와 디코더 네트워크 간에 공유되는 특징 추출기 네트워크를 사용한다.
• 디코더 네트워크는 공유된 특징에서 입력 이미지를 재구성하며, 재구성 오차는 알 수 없는 클래스 탐지에 이상치 점수로 사용된다.
• 극값 이론을 적용하여 알려진 클래스의 재구성 오차 분포의 꼬리 부분을 모델링하고 최적의 거부 임계값을 설정한다.
• 분류 및 재구성 목표를 균형 잡는 복합 손실 함수를 사용해 엔드 투 엔드로 모델을 훈련한다.
• CIFAR-10, CIFAR+10, CIFAR+50, 그리고 TinyImageNet를 포함한 여러 데이터셋에서 오픈세트 및 OOD 탐지 프로토콜을 기반으로 프레임워크를 평가한다.
• 메서드는 VGGNet 및 DenseNet 백본을 사용하며, CROSR 및 DHRNet과 같은 최신 기술 수준의 기준선과 비교된다.

실험 결과

연구 질문

• RQ1 공유된 특징 추출기를 활용한 다중 작업 학습이 딥 컨볼루션 네트워크의 오픈세트 인식 성능을 향상시키는가?
• RQ2 디코더 네트워크에서 유도된 재구성 오차는 알 수 없는 클래스 샘플 탐지에 얼마나 효과적인가?
• RQ3 극값 이론을 통해 재구성 오차의 꼬리 분포를 모델링하면 오픈세트 거부의 강건성을 향상시킬 수 있는가?
• RQ4 제안된 MLOSR 프레임워크는 오픈세트 인식과 OOD 탐지 모두에서 기존 최신 기술 수준의 방법을 초월하는가?
• RQ5 이 방법은 도메인 이동과 클래스 불균형 수준이 다양한 다양한 데이터셋에 일반화 가능한가?

주요 결과

• 도전적인 TinyImageNet 데이터셋에서 MLOSR는 다음으로 우수한 방법인 CROSR보다 AUROC에서 5% 향상되었다.
• OOD 탐지에서 VGGNet 백본을 사용한 MLOSR는 ImageNet-crop에서 11.6% 향상되었고, LSUN-resize에서는 19.8% 향상되었다.
• DenseNet 백본을 사용한 MLOSR는 모든 OOD 벤치마크에서 다음으로 우수한 방법 대비 평균 16.45%의 F1 점수 향상을 달성했다.
• 이전 최신 기술 수준인 DHRNet+CROSR보다 MLOSR는 OOD 탐지에서 평균 12.25% 향상되었다.
• 숫자 데이터셋에서 MLOSR는 최고 성능을 보인 CROSR와 거의 유사한 성능을 보여, 간단한 데이터셋과 복잡한 데이터셋 모두에 강력한 일반화 능력을 보였다.