[논문 리뷰] Specialized Support Vector Machines for open-set recognition.

Pedro Ribeiro Mendes-Junior, Jacques Wainer외 1명|arXiv (Cornell University)|2016. 06. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 68인용 수 15

한 줄 요약

이 논문은 테스트 시에 알려지지 않은 클래스가 나타날 수 있는 오픈셋 인식을 위해 설계된 SVM의 새로운 확장인 전문화된 서포트 벡터 머신(SSVM)을 제안한다. 알려진 클래스의 경험적 위험과 알려지지 않은 클래스의 위험을 균형 잡고, RBF 커널의 제약 조건을 통해 열린 공간 위험을 유한하게 제한함으로써 SSVM은 분포를 이탈한 샘플을 항상 유한하게 거부함을 보장한다. 이는 기존 SVM이 오픈셋 상황에서 겪는 핵심적인 한계를 해결한다.

ABSTRACT

Often, when dealing with real-world recognition problems, we do not need, and often cannot have, knowledge of the entire set of possible classes that might appear during operational testing. In such cases, we need to think of robust classification methods able to deal with the and properly reject samples belonging to classes never seen during training. Notwithstanding, almost all existing classifiers to date were mostly developed for the closed-set scenario, i.e., the classification setup in which it is assumed that all test samples belong to one of the classes with which the classifier was trained. In the open-set scenario, however, a test sample can belong to none of the known classes and the classifier must properly reject it by classifying it as unknown. In this work, we extend upon the well-known Support Vector Machines (SVM) classifier and introduce the Specialized Support Vector Machines (SSVM), which is suitable for recognition in open-set setups. SSVM balances the empirical risk and the risk of the unknown and ensures that the region of the feature space in which a test sample would be classified as known (one of the known classes) is always bounded, ensuring a finite risk of the unknown. In this work, we also highlight the properties of the SVM classifier related to the open-set scenario, and provide necessary and sufficient conditions for an RBF SVM to have bounded open-space risk.

연구 동기 및 목표

• 모든 테스트 샘플이 알려진 훈련 클래스에 속한다고 가정하는 기존 SVM의 한계(폐쇄셋 가정)를 실제 세계에서 알려지지 않은 클래스가 존재할 수 있는 상황에서 해결한다.
• 추론 과정에서 알려지지 않은 클래스의 샘플을 신뢰성 있게 거부할 수 있는 분류 프레임워크를 개발한다. 이는 실용적인 오픈셋 인식에서 핵심적인 요구사항이다.
• 특징 공간에서 '알려진'으로 분류되는 영역이 항상 유한하게 유지되도록 보장함으로써, 알려지지 않은 샘플이 잘못 분류될 위험을 유한하게 보장한다.
• RBF-SVM이 자연스럽게 유한한 오픈셋 위험을 가지는 데 필요한 이론적 조건을 제공함으로써, 오픈셋 기능을 갖춘 모델의 체계적인 설계를 가능하게 한다.

제안 방법

• 표준 SVM을 확장하여, 알려지지 않은 클래스와 관련된 위험을 명시적으로 모델링하고 최소화하는 전문화된 공식을 도입한다.
• 알려진 클래스의 경험적 위험과 알려지지 않은 샘플을 잘못 분류할 위험을 균형 잡는다. 이는 알려진 영역 외부에서의 과도한 자신감을 방지하는 이중 최적화 목표를 사용한다.
• RBF 커널의 암묵적 기하학을 이용해 특징 공간에서 알려진 클래스 영역의 경계를 제약함으로써, 이 영역이 유한함을 보장한다.
• RBF-SVM이 유한한 오픈스페이스 위험을 달성하는 데 필요한 필수 및 충분한 조건을 커널의 마진과 데이터 분포 특성에 기반해 유도한다.
• 알려진 클래스 분류와 알려지지 않은 클래스 거부 목표를 모두 포함하는 수정된 최적화 문제로 SSVM을 공식화한다.
• RBF 커널의 구조적 특성을 활용해 결정 함수가 알려지지 않은 영역으로 무한히 연장되지 않도록 하여, 알려지지 않은 오분류의 위험을 제한한다.

실험 결과

연구 질문

• RQ1 기본적인 RBF-SVM이 어떤 조건에서 자연스럽게 유한한 오픈스페이스 위험을 가지며, 이로 인해 알려지지 않은 샘플을 신뢰성 있게 거부할 수 있는가?
• RQ2 SVM 프레임워크는 훈련 단계에서 알려지지 않은 클래스의 위험을 어떻게 명시적으로 고려하도록 수정할 수 있으며, 이는 오픈셋 인식에서의 강건성을 보장하는가?
• RQ3 특징 공간에서 '알려진'으로 분류되는 영역이 항상 유한하게 유지되도록 보장하기 위해 필요한 수학적 제약 조건은 무엇인가?
• RQ4 제안된 SSVM 프레임워크는 알려진 클래스에서의 높은 정확도를 유지하면서도 알려지지 않은 오분류의 위험을 유한하게 보장할 수 있는가?
• RQ5 추론 과정에서 분포를 이탈한 샘플을 다룰 때 SSVM 공식화 방식은 기존 SVM과 어떻게 다를 수 있는가?

주요 결과

• 논문은 RBF-SVM이 자연스럽게 유한한 오픈스페이스 위험을 보이기 위한 필요 및 충분한 조건을 규명하여, 오픈셋 강건성에 대한 이론적 기반을 제공한다.
• 제안된 SSVM 프레임워크는 특징 공간에서 '알려진'으로 분류되는 영역이 항상 유한하게 유지됨을 보장함으로써, 알려지지 않은 오분류의 위험이 유한함을 보장한다.
• 경험적 위험과 알려지지 않은 위험을 명시적으로 균형 잡음으로써 SSVM은 알려지지 않은 클래스의 샘플을 유한하게 거부하면서도 알려진 클래스에서의 성능을 손상시키지 않는다.
• 이 방법은 표준 SVM이 분포를 이탈한 샘플에 대해 유한하지 않은 오픈스페이스 위험을 가지므로 오픈셋 인식에 본질적으로 부적합하다는 점을 입증한다. 이는 알려지지 않은 클래스가 높은 오분류율을 보일 수 있음을 의미한다.
• 이론적 분석은 RBF 커널의 구조가 특정 기하학적 및 분포 제약 조건을 만족할 경우 유한한 결정 영역을 가능하게 한다는 것을 확인한다.
• SSVM은 SVM의 적용 범위를 폐쇄셋 가정을 초월해 오픈셋 인식에까지 확장할 수 있는 체계적이고 이론적으로 탄탄한 접근법을 제공한다.