[논문 리뷰] OpenAUC: Towards AUC-Oriented Open-Set Recognition

Zitai Wang, Qianqian Xu외 4명|arXiv (Cornell University)|2022. 10. 22.

Domain Adaptation and Few-Shot Learning인용 수 9

한 줄 요약

이 논문은 개방집합 인식(OSR)를 위한 새로운 지표인 OpenAUC을 제안한다. OpenAUC는 일관되고 임계값에 의존하지 않는 방식으로 닫힌집합 및 개방집합 성능을 동시에 평가한다. 알려진 샘플과 알려지지 않은 샘플 간의 쌍별 순위 매기기 방식으로 성능를 정의함으로써 기존 지표의 모순을 피하고, 엔드 투 엔드 최적화를 가능하게 하여 기준 데이터셋에서 최고 성능을 달성한다.

ABSTRACT

Traditional machine learning follows a close-set assumption that the training and test set share the same label space. While in many practical scenarios, it is inevitable that some test samples belong to unknown classes (open-set). To fix this issue, Open-Set Recognition (OSR), whose goal is to make correct predictions on both close-set samples and open-set samples, has attracted rising attention. In this direction, the vast majority of literature focuses on the pattern of open-set samples. However, how to evaluate model performance in this challenging task is still unsolved. In this paper, a systematic analysis reveals that most existing metrics are essentially inconsistent with the aforementioned goal of OSR: (1) For metrics extended from close-set classification, such as Open-set F-score, Youden's index, and Normalized Accuracy, a poor open-set prediction can escape from a low performance score with a superior close-set prediction. (2) Novelty detection AUC, which measures the ranking performance between close-set and open-set samples, ignores the close-set performance. To fix these issues, we propose a novel metric named OpenAUC. Compared with existing metrics, OpenAUC enjoys a concise pairwise formulation that evaluates open-set performance and close-set performance in a coupling manner. Further analysis shows that OpenAUC is free from the aforementioned inconsistency properties. Finally, an end-to-end learning method is proposed to minimize the OpenAUC risk, and the experimental results on popular benchmark datasets speak to its effectiveness. Project Page: https://github.com/wang22ti/OpenAUC.

연구 동기 및 목표

• 기존 개방집합 인식(OSR) 지표의 근본적인 모순, 특히 닫힌집합 및 개방집합 성능를 균형 있게 평가하지 못하는 문제를 규명하는 것.
• 닫힌집합 및 개방집합 성능를 결합하고 임계값에 민감하지 않은 방식으로 평가하는 새로운 지표인 OpenAUC를 제안하는 것.
• OpenAUC 위험을 최소화하는 엔드 투 엔드 학습 방법을 수립하여 양쪽 성능 측면을 동시에 최적화하는 것.
• 표준 기준 데이터셋에서의 광범위한 실험을 통해 OpenAUC의 이론적 우수성을 검증하는 것.

제안 방법

• OpenAUC는 쌍별 순위 매기기 지표로 정의된다: 각 알려진 샘플과 알려지지 않은 샘플의 쌍에 대해, 알려진 샘플이 올바르게 분류되고 알려지지 않은 샘플보다 낮게 순위 매겨지는지 확인한다.
• 특정 결론 임계값에 의존하지 않도록 순위 연산자를 사용함으로써, 임계값 선택에 대한 강건성을 확보한다.
• 제안된 학습 목표는 OpenAUC를 직접 최적화하는 엔드 투 엔드 미분 가능한 위험 최소화 공식이다.
• 손실 함수에서 닫힌집합 및 개방집합 성능 기여도를 균형 잡기 위해 하이퍼파rameter λ를 포함한다.
• 최적화 프레임워크는 표준 딥러닝 역전파를 사용하여 학습되며, OpenAUC 목표는 서로서로 손실 함수에서 유도된다.
• SVHN, CIFAR-10, CIFAR-100, 그리고 TinyImageNet에서 다양한 개방집합 정의를 적용하여 평가한다.

실험 결과

연구 질문

• RQ1 기존의 OSR 지표들, 예를 들어 개방집합 F-스코어와 유던의 지수는 닫힌집합 및 개방집합 성능 평가에서 일관성이 떨어지는가?
• RQ2 임계값 의존적 결정에 의존하지 않고, 동시에 닫힌집합 정확도와 개방집합 구분 능력을 평가할 수 있는 통합 지표를 설계할 수 있는가?
• RQ3 OpenAUC를 최적화하면 다양한 기준 데이터셋에서 일반화 능력과 성능이 향상되는가?
• RQ4 제안된 엔드 투 엔드 학습 방법은 최고 수준의 OSR 방법들과 비교해 복잡성과 효능 측면에서 뛰어나게 되는가?

주요 결과

• 기존의 분류 기반 지표들, 예를 들어 개방집합 F-스코어와 유던의 지수는 알려지지 않은 샘플을 알려진 것으로 잘못 분류함으로써 최적화될 수 있어, 잘못된 성능 점수를 유도하는 등 일관성이 떨어진다.
• 새로운 사례 탐지 AUC는 닫힌집합 성능를 무시하며, 이를 닫힌집합 정확도와 조합하면 다목적 최적화 문제가 발생하여 공동 성능 측면에서 최적화되지 않는다.
• 제안된 OpenAUC 지표는 OSR 목표와 이론적으로 일관되며, 닫힌집합 및 개방집합 성능를 결합하고 임계값 없이 평가한다.
• OpenAUC 위험 최소화 기반 엔드 투 엔드 학습 방법은 SVHN, CIFAR-10, CIFAR-100, 그리고 TinyImageNet를 포함한 모든 평가된 데이터셋에서 최고 성능을 달성한다.
• 민감도 분석 결과, OpenAUC의 최적 하이퍼파rameter λ는 0.1 또는 0.2이며, 이보다 높은 값에서는 성능이 저하되는데, 이는 생성된 샘플의 노이즈 때문일 가능성이 높다.
• 제거 실험 결과, 닫힌집합 정확도 항목을 제거하면 성능이 열 劣화되며, 이는 OpenAUC에서 결합된 목표의 필요성을 검증한다.