[논문 리뷰] Classification-Reconstruction Learning for Open-Set Recognition

Ryota Yoshihashi, Wen Shao외 4명|arXiv (Cornell University)|2018. 12. 11.

Anomaly Detection Techniques and Applications참고 문헌 51인용 수 8

한 줄 요약

이 논문은 계층적 볼록 잠재 표현을 사용하여 입력 데이터의 분류와 재구성에 동시에 학습하는 딥러닝 프레임워크인 CROSR를 제안한다. 예측 및 재구성 특징을 융합함으로써 CROSR는 알려진 클래스 분류 정확도를 희생시키지 않은 채 다양한 데이터셋에서 미지의 클래스를 탐지하는 데 최고 성능을 달성한다.

ABSTRACT

Open-set classification is a problem of handling `unknown' classes that are not contained in the training dataset, whereas traditional classifiers assume that only known classes appear in the test environment. Existing open-set classifiers rely on deep networks trained in a supervised manner on known classes in the training set; this causes specialization of learned representations to known classes and makes it hard to distinguish unknowns from knowns. In contrast, we train networks for joint classification and reconstruction of input data. This enhances the learned representation so as to preserve information useful for separating unknowns from knowns, as well as to discriminate classes of knowns. Our novel Classification-Reconstruction learning for Open-Set Recognition (CROSR) utilizes latent representations for reconstruction and enables robust unknown detection without harming the known-class classification accuracy. Extensive experiments reveal that the proposed method outperforms existing deep open-set classifiers in multiple standard datasets and is robust to diverse outliers. The code is available in https://nae-lab.org/~rei/research/crosr/.

연구 동기 및 목표

• 학습 중에 미리 고려되지 않은 클래스가 존재하는 폐쇄세계 가정의 한계를 해결하기 위해.
• 미지 클래스 탐지에 장애가 되는 지도학습 표현의 특화 문제를 극복하기 위해.
• 비지도 재구성 학습을 정규화 요소로 통합하여 분류 가능하고 일반화 가능한 특징를 유지함으로써 오픈세트 인식 성능을 향상시키기 위해.
• 기존 클래스 분류 정확도를 유지하면서도 미지 클래스 탐지 기능을 강력하게 제공하는 통합 프레임워크를 개발하기 위해.
• 기존의 오픈세트 분류기보다 더 나은 성능을 내는 새로운 아키텍처인 DHRNet을 설계하여 분류와 이상 탐지에 적합한 압축되고 정보량 많은 잠재 코드를 함께 학습하기 위해.

제안 방법

• 분류(출력 소프트맥스 로그리트에 대한 지도 학습 손실을 통해)와 재구성(잠재 코드에 대한 오토에인코더 스타일 손실을 통해)을 동시에 수행하는 딥 네ural 네트워크를 엔드 투 엔드로 훈련한다.
• 다중 수준의 압축된 잠재 표현을 위한 재구성 학습을 위해 볼록 구조를 가진 횡방향 연결을 갖춘 딥 계층적 재구성 네트워크(DHRNet)를 도입한다.
• 이상 탐지용 최종 표현으로 분류 로그리트 $\boldsymbol{y}$ 와 재구성 잠재 코드 $\boldsymbol{z}$ 의 연결을 사용한다.
• $[\boldsymbol{y}, \boldsymbol{z}]$ 에 대해 $\ell^2$ 거리 또는 일괄 이상 탐지기(예: OCSVM, Isolation Forest)를 적용하여 이상치를 탐지한다.
• DHRNet의 계층적 구조를 활용해 다수 수준에서 이상 요인을 추출함으로써 다양한 유형의 미지 클래스에 대한 강건성을 향상시킨다.
• 중간 레이어에서 분류 정확도와 재구성 정밀도를 균형 잡는 복합 손실 함수를 최적화하여 네트워크를 학습시킨다.

실험 결과

연구 질문

• RQ1 공동 분류-재구성 학습이 오픈세트 인식을 위한 딥 특징의 일반화 능력을 향상시키는가?
• RQ2 비지도 재구성 학습을 통합함으로써 기존 클래스 분류 성능을 저하시키지 않은 채 미지 클래스 탐지 능력을 향상시킬 수 있는가?
• RQ3 DHRNet에서 사용하는 계층적 볼록 잠재 표현이 표준 오토에인코더보다 알려진 클래스와 미지 클래스를 구분하는 데 유용한 정보를 더 잘 유지하는가?
• RQ4 단순히 분류 로그리트 $\boldsymbol{y}$ 뿐 아니라 다중 수준의 잠재 표현 $\boldsymbol{z}$ 를 사용할 경우 이상 탐지 성능가 향상되는가?
• RQ5 합성 학습 데이터를 사용하지 않더라도 CROSR가 기존의 GAN 기반 및 기타 최고 수준의 오픈세트 분류기보다 표준 벤치마크에서 승리할 수 있는가?

주요 결과

• CROSR는 MNIST, SVHN, TinyImageNet에서 각각 F1-스코어 0.991 ± 0.004, 0.899 ± 0.018, 0.589를 기록하며, OpenMax 및 GAN 기반 기준 모델을 능가하는 최고 성능을 달성한다.
• 이 방법은 알려진 클래스 분류 정확도를 유지하면서도 특히 유사한 외관을 가진 어려운 유형의 이상 탐지 성능을 크게 향상시킨다.
• [$\boldsymbol{y}, \boldsymbol{z}$] 에 대해 $\ell^2$ 거리 대신 OCSVM을 사용할 경우 합성 이상 데이터에서 F1-스코어가 15% 이상 향상되며, 이는 공동 표현의 유용성을 입증한다.
• t-SNE 시각화 결과, $[\boldsymbol{y}, \boldsymbol{z}]$ 표현이 $\boldsymbol{y}$ 단독보다 알려진 클래스와 미지 클래스를 더 명확히 분리하는 것으로 확인되었다.
• 잠재 표현 계산에 따른 계산 오버헤드는 매우 작아 이미지당 약 3~5ms이며, 실시간 배포에 매우 효율적이다.
• 합성 학습 데이터를 사용하지 않음에도 불구하고 CROSR는 GAN 기반 방법과 비슷하거나 약간 뛰어난 성능을 보이며, 강력한 일반화 능력을 보여준다.