[논문 리뷰] Adversarial Motorial Prototype Framework for Open Set Recognition

Ziheng Xia, Penghui Wang외 2명|arXiv (Cornell University)|2021. 07. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 26인용 수 10

한 줄 요약

이 논문은 개방 집합 인식을 위한 모터리얼 프로토타입 프레임워크(MPF)와 그 적대적 확장인 AMPF++를 제안하며, 동적 마진 제약 조건을 통해 특징의 밀도를 향상시켜 경험적 위험과 개방 공간 위험을 모두 감소시킵니다. 이 방법은 MNIST, CIFAR, ImageNet 벤치마크에서 최신 기술을 초월하며, 특히 대규모 및 복잡한 미지 클래스 설정에서 뛰어난 성능을 보입니다.

ABSTRACT

Open set recognition is designed to identify known classes and to reject unknown classes simultaneously. Specifically, identifying known classes and rejecting unknown classes correspond to reducing the empirical risk and the open space risk, respectively. First, the motorial prototype framework (MPF) is proposed, which classifies known classes according to the prototype classification idea. Moreover, a motorial margin constraint term is added into the loss function of the MPF, which can further improve the clustering compactness of known classes in the feature space to reduce both risks. Second, this paper proposes the adversarial motorial prototype framework (AMPF) based on the MPF. On the one hand, this model can generate adversarial samples and add these samples into the training phase; on the other hand, it can further improve the differential mapping ability of the model to known and unknown classes with the adversarial motion of the margin constraint radius. Finally, this paper proposes an upgraded version of the AMPF, AMPF++, which adds much more generated unknown samples into the training phase. In this paper, a large number of experiments prove that the performance of the proposed models is superior to that of other current works.

연구 동기 및 목표

• 기존 클래스 분류의 경험적 위험과 미지 클래스 거부의 개방 공간 위험을 동시에 최소화함으로써 개방 집합 인식(OSR)의 과제를 해결하기 위해.
• 임베딩 공간 내 기존 클래스의 특징 밀도를 향상시켜, 미지 클래스 특징과의 겹침을 줄이기 위해.
• 합성된 미지 샘플을 사용한 적대적 훈련을 통해 기존 클래스와 미지 클래스 간의 구분 능력을 향상시키기 위해.
• 대규모 기존 클래스 설정과 다양한 미지 클래스 분포에서 효과적인 확장성과 강건성을 갖춘 프레임워크를 개발하기 위해.

제안 방법

• 특징 공간 내 군집의 밀도를 강화하기 위해 손실 함수에 클래스 프로토타입과 새로운 모터리얼 마진 제약 조건 항을 사용하는 모터리얼 프로토타입 프레임워크(MPF)를 제안합니다.
• 마진 제약 조건 반경 R의 적대적 움직임을 도입합니다: R을 증가시키면 기존 클래스 군집이 강화되어 경험적 위험이 감소하고, R을 감소시키면 미지 특징이 개방 공간 경계로 밀려나가 개방 공간 위험이 감소합니다.
• 훈련을 위한 합성된 미지 데이터 증강을 위해 적대적 샘플 생성 기법을 활용하여, 분포 외 샘플을 탐지하는 모델의 능력을 향상시킵니다.
• AMPF++는 훈련 중 생성된 미지 샘플의 수를 늘림으로써 개방 공간 위험을 추가로 억제하는 AMPF의 개선된 버전입니다.
• 특징 공간 내 프로토타입의 대칭 분포를 활용하여 공간 활용도를 극대화하고 일반화 능력을 향상시킵니다.
• 백본 분류기로 ResNet-18과 ResNet-50를 사용하며, 기존/미지 분할 기준으로 MNIST, KMNIST, SVHN, CIFAR-10, CIFAR-100, ImageNet에서 평가를 수행합니다.

실험 결과

연구 질문

• RQ1 동적 마진 제약 조건을 갖춘 프로토타입 기반 프레임워크가 개방 집합 인식에서 경험적 위험과 개방 공간 위험을 효과적으로 감소시킬 수 있는가?
• RQ2 미지 샘플의 적대적 생성이 기존 클래스와 미지 클래스를 구분하는 데 모델의 능력을 어떻게 향상시키는가?
• RQ3 마진 반경 R의 적대적 움직임이 기존 클래스와 미지 클래스 간의 구분 능력을 향상시키는 데 어느 정도 기여하는가?
• RQ4 기존 클래스 수가 증가함에 따라 MPF와 AMPF++의 성능가 어떤 식으로 스케일링되는가?
• RQ5 특징 공간 내 프로토타입의 대칭 분포가 강건성 향상과 개방 공간 위험 감소에 기여하는가?

주요 결과

• AMPF++는 ImageNet-100과 ImageNet-200에서 ARPL 및 기타 최신 기술보다 AUROC 및 OSCR 지표에서 뛰어난 성능을 기록합니다.
• 모든 1000개의 ImageNet 클래스를 기존 클래스로 간주하는 ImageNet-O에서 AMPF++는 가장 높은 OSCR와 AUROC를 확보하여 복잡한 미지 분포로의 일반화 능력이 뛰어나다는 것을 입증합니다.
• MPF는 시각화를 통해 기존 클래스 군집이 더 밀도 있고, 미지 클래스와의 겹침이 적은 것으로 확인되었으며, GCPL, RPL, ARPL보다 경험적 위험과 개방 공간 위험을 더 효과적으로 감소시킵니다.
• 기존 클래스 수(K)가 2에서 10으로 증가함에 따라 MPF는 뛰어난 성능을 유지하며, 특히 KMNIST에서 기존 클래스와 미지 클래스 간 겹침이 줄어듭니다.
• 동적 마진 제약 조건(마진 반경 R의 적대적 움직임)은 두 위험을 번갈아 감소시켜 단일 모드 위험 최소화 전략보다 더 효과적임을 입증합니다.
• 시각화 결과, 프로토타입, 특징, 특징 공간의 중심이 약간의 편차를 제외하고는 거의 직선 상에 위치함을 확인하여, 거리 제약 조건의 기하학적 설계가 타당함을 검증합니다.