[논문 리뷰] M2IOSR: Maximal Mutual Information Open Set Recognition

Xin Sun, Henghui Ding외 3명|arXiv (Cornell University)|2021. 08. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 46인용 수 10

한 줄 요약

M2IOSR는 입력 이미지와 다중 척도 잠재 특징 간 상호정보를 최대화하여 클래스별 특징 추출을 향상시키는 경량의 인코더 전용 오픈 세트 인식 방법을 제안한다. 픽셀 수준의 재구성 대신 상호정보 최대화를 도입하고, KL-발산을 통해 클래스 조건부 가우시안 분포를 강제화함으로써 오픈 스페이스 리스크를 감소시켰다. 다양한 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였다.

ABSTRACT

In this work, we aim to address the challenging task of open set recognition (OSR). Many recent OSR methods rely on auto-encoders to extract class-specific features by a reconstruction strategy, requiring the network to restore the input image on pixel-level. This strategy is commonly over-demanding for OSR since class-specific features are generally contained in target objects, not in all pixels. To address this shortcoming, here we discard the pixel-level reconstruction strategy and pay more attention to improving the effectiveness of class-specific feature extraction. We propose a mutual information-based method with a streamlined architecture, Maximal Mutual Information Open Set Recognition (M2IOSR). The proposed M2IOSR only uses an encoder to extract class-specific features by maximizing the mutual information between the given input and its latent features across multiple scales. Meanwhile, to further reduce the open space risk, latent features are constrained to class conditional Gaussian distributions by a KL-divergence loss function. In this way, a strong function is learned to prevent the network from mapping different observations to similar latent features and help the network extract class-specific features with desired statistical characteristics. The proposed method significantly improves the performance of baselines and achieves new state-of-the-art results on several benchmarks consistently.

연구 동기 및 목표

• 오토에인코더 기반 오픈 세트 인식(OSR) 방법에서 픽셀 수준 재구성의 과도한 요구를 해결한다.
• 모든 이미지 픽셀을 재구성하는 대신 목표 객체에 집중하여 클래스별 특징 추출을 향상시킨다.
• 잠재 특징이 클래스 조건부 가우시안 분포를 따르도록 제약을 두어 오픈 스페이스 리스크를 감소시킨다.
• 상호정보 최대화를 활용하여 디코더 없이도 경량이고 효율적인 OSR 모델을 개발한다.
• 단순한 아키텍처와 효과적인 특징 학습 전략을 통해 표준 OSR 벤치마크에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 입력 이미지와 다중 척도 잠재 특징 간 상호정보(MI)를 최대화하여 입력과 표현 간의 상호의존도를 강화한다.
• 동일한 이미지에서 온 양성 쌍에 대해 전역 상호정보(GMI, 전체 입력과 잠재 특징 간)와 국소 상호정보(LMI, 이미지 패치와 잠재 특징 간)를 동시에 최대화한다.
• 다른 이미지에서 온 음성 쌍에 대해 전역 및 국소 상호정보를 최소화하여 알려진 클래스와 알려지지 않은 클래스 간의 구분 능력을 향상시킨다.
• KL-발산 손실 함수를 사용해 잠재 특징이 클래스 조건부 가우시안 분포를 따르도록 강제함으로써 오픈 스페이스 리스크를 감소시킨다.
• 디코더 없이 단일 인코더 네트워크를 사용하여 아키텍처를 단순화하고 모델 복잡도를 감소시킨다.
• 다중 척도 국소 MI 최적화를 적용하여 다양한 수신장 수준에서 특징 정보를 유지한다.

실험 결과

연구 질문

• RQ1 픽셀 수준 재구성 없이도 입력과 잠재 특징 간 상호정보 최대화가 클래스별 특징 추출에 기여할 수 있는가?
• RQ2 다중 척도 국소 상호정보는 OSR에서 더 나은 특징 학습과 목표 물체 정렬에 어떤 기여를 하는가?
• RQ3 KL-발산을 통한 클래스 조건부 가우시안 분포 강제화가 OSR에서 오픈 스페이스 리스크를 어느 정도 감소시키는가?
• RQ4 경량 인코더 전용 아키텍처가 오토에인코더 기반 OSR 방법보다 정확도와 효율성 측면에서 뛰어나게 성능을 낼 수 있는가?
• RQ5 다양한 알려진/알 수 없는 클래스 조합을 가진 다양한 벤치마크 설정에서 M2IOSR는 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?

주요 결과

• CIFAR+10 및 CIFAR+50 벤치마크에서 M2IOSR는 각각 평균 F1 점수 0.924와 0.923을 기록하며 기존 방법들을 크게 능가하는 새로운 최신 기술 수준 성능을 달성하였다.
• MNIST 기반 OSR 작업에서 M2IOSR는 Omniglot에서 F1 점수 0.924, MNIST-Noise에서 0.923, Noise에서 0.929를 기록하여 모든 베이스라인을 초월하였다.
• 잠재 특징을 클래스 조건부 가우시안 분포로 제약함으로써 오픈 스페이스 리스크를 감소시켜 알려지지 않은 샘플로의 일반화 능력을 향상시켰다.
• 양성/음성 쌍의 MI 최적화를 도입했음에도 불구하고 M2IOSR는 VGG-13 기준 상대적으로 작은 파라미터 수(9,444k)와 합리적인 추론 시간(0.618 ms/이미지)을 유지하였다.
• 제거 분석 결과, 다중 척도 국소 MI, 상호정보 최대화, KL-발산 손실 모두 성능 향상에 기여하는 중요한 요소로 확인되었다.
• 배경 비율이 높을수록 오토에인코더 기반 방법 대비 M2IOSR는 목표 물체 정렬 능력에서 뛰어난 강건성을 보였다.