[논문 리뷰] Open-Category Classification by Adversarial Sample Generation

Yu Yang, Wei-Yang Qu외 2명|arXiv (Cornell University)|2017. 05. 24.

Anomaly Detection Techniques and Applications참고 문헌 18인용 수 10

한 줄 요약

이 논문은 볼 수 없는 클래스의 탐지 성능을 향상시키기 위해 본래의 클래스에 대한 현실적인 양성 및 음성 샘플을 생성하기 위해 적대적 학습을 사용하는 개방형 분류를 위한 적대적 샘플 생성(ASG) 프레임워크를 제안한다. ASG는 여러 데이터셋에서 최고의 매크로-F1 점수를 기록하며, 특히 데이터가 적은 환경에서 최신 기술보다 뛰어난 성능을 보인다.

ABSTRACT

In real-world classification tasks, it is difficult to collect training samples from all possible categories of the environment. Therefore, when an instance of an unseen class appears in the prediction stage, a robust classifier should be able to tell that it is from an unseen class, instead of classifying it to be any known category. In this paper, adopting the idea of adversarial learning, we propose the ASG framework for open-category classification. ASG generates positive and negative samples of seen categories in the unsupervised manner via an adversarial learning strategy. With the generated samples, ASG then learns to tell seen from unseen in the supervised manner. Experiments performed on several datasets show the effectiveness of ASG.

연구 동기 및 목표

• 새로운 클래스에 대한 학습 데이터가 제공되지 않는 개방 환경에서 볼 수 없는 클래스의 인스턴스를 분류하는 데 도전하는 것.
• 독립적이고 동일하게 분포된 가정(i.i.d.)을 따르는 전통적 분류기의 한계를 극복하여, 볼 수 없는 인스턴스를 기존 클래스로 잘못 분류하는 문제를 해결하는 것.
• 새로운 클래스의 속성, 레이블이 부여된 새로운 데이터, 또는 새로운 카테고리에 대한 사전 지식 없이도 볼 수 없는 클래스를 강력하게 탐지할 수 있는 방법을 개발하는 것.
• 본래의 클래스에 대한 경계 유사 샘플을 합성함으로써, 데이터가 적은 환경에서 일반화 및 탐지 성능을 향상시키는 것.
• 자기 지율적이고 적대적인 접근을 통해 개방 집합 인식을 위한 분류기의 판별 능력을 향상시키는 것.

제안 방법

• 본래의 클래스 경계 근처에 위치한, 실제 본래 클래스 인스턴스와 구분하기 어려운 음성 샘플을 생성하기 위해 적대적 학습을 사용하는 것.
• 실제 본래 클래스 데이터와 구분이 가지 않도록 생성된 양성 샘플을 생성하여 학습 세트를 증강시키며, 특히 학습 데이터가 부족한 경우에 유용한 것.
• 실제 데이터와 생성된 데이터를 결합하여 지도 학습 분류기(예: SVM)를 훈련시켜 본래 클래스와 볼 수 없는 클래스를 분리하는 결정 경계를 학습하는 것.
• 생성 과정을 안내하기 위해 판별망 네트워크를 활용하여 생성된 샘플이 현실적이며 적대적인 성격을 가지도록 보장하는 것.
• 비지도 적대적 샘플 생성 후 지도 학습 기반의 개방형 분류를 수행하는 두 단계 프로세스로 프레임워크를 종단 간(end-to-end)으로 적용하는 것.
• 생성된 데이터를 활용하여 모델의 일반화 능력과 강건성을 향상시키며, 특히 분포 외 인스턴스 탐지에 특화된 것.

실험 결과

연구 질문

• RQ1 적대적 샘플 생성이 본래 클래스의 경계 영역을 효과적으로 시뮬레이션하여 볼 수 없는 클래스의 탐지 성능을 향상시킬 수 있는가?
• RQ2 ASG는 OVR-SVM, OC-SVM, MOC-SVM와 같은 전통적인 개방 집합 분류 방법과 비교해 볼 때 개방형 분류 상황에서 성능가능성이 높은가?
• RQ3 학습 데이터가 제한적이거나 불균형한 경우 ASG 프레임워크는 성능을 유지하거나 향상시키는가?
• RQ4 생성된 샘플이 고수준의 속성이나 레이블이 부여된 새로운 데이터에 의존하지 않고도 분류기가 볼 수 없는 인스턴스를 거부하는 능력을 향상시킬 수 있는가?
• RQ5 다양한 데이터셋에서 적대적 데이터 생성이 매크로-F1 및 정밀도 지표에 얼마나 기여하는가?

주요 결과

• ASG-SVM는 모든 데이터셋에서 최고의 매크로-F1 점수를 기록했으며, 인공 데이터셋에서는 평균 0.703, 플래그 데이터셋에서는 0.522, 글라스 데이터셋에서는 0.706, 레터 데이터셋에서는 0.944, 페이지 블록 데이터셋에서는 0.611을 기록하여 모든 기준선을 초월했다.
• 20 Newsgroups 데이터셋에서 ASG-SVM는 모든 설정에서 최고 성능을 기록했으며, 테스트 클래스 수가 증가함에 따라 F1 점수가 감소하는 경향을 보였고, 이는 개방 집합 복잡성에 대한 강건성을 시사한다.
• 소규모 데이터 환경(클래스당 ≤100개 인스턴스)에서 ASG-SVM는 평균 순위 1.2를 기록하여 OVR-SVM(3.0), MOC-SVM(3.6), OC-SVM(6.0)을 크게 앞섰다.
• 학습 데이터 크기가 작을 경우(예: 클래스당 100개 인스턴스), ASG-SVM는 기준선 대비 가장 큰 성능 향상을 보였으며, 이는 낮은 데이터 환경에서의 효과성을 입증한다.
• 외곽치 탐지 방법인 OC-SVM 및 MOC-SVM는 20 Newsgroups 데이터셋에서 실패했으며, 이는 볼 수 없는 클래스를 외곽치로 간주해서는 안 된다는 점을 확인하며, 이러한 접근의 핵심적 한계를 드러낸다.
• 승리/무승부/패배 분석을 통해 ASG는 비교된 모든 방법보다 유의미하게 뛰어난 성능을 보였으며, 여러 데이터셋과 설정에서 통계적으로 우월한 성능을 기록했다.