[논문 리뷰] Multi-class Classification without Multi-class Labels

Yen-Chang Hsu, Zhaoyang Lv외 3명|arXiv (Cornell University)|2019. 01. 02.

Anomaly Detection Techniques and Applications참고 문헌 47인용 수 17

한 줄 요약

이 논문은 다중 클래스 레이블 대신 쌍별 유사도 레이블만을 사용하여 다중 클래스 분류기를 훈련하는 새로운 프레임워크인 메타 분류 학습(Meta Classification Learning, MCL)을 제안한다. 이는 두 샘플이 같은 클래스에 속하는지 여부를 예측하는 이진 분류기를 훈련시킴으로써, 단순하고 미분 가능한 손실 함수를 통해 구분 능력이 뛰어난 다중 클래스 모델을 학습한다. 이로써 명시적 클래스 레이블이 필요 없이 지도학습, 비지도학습 간 작업 전이, 준지도학습 설정에서 최신 기술 수준 또는 경쟁력 있는 성능을 달성한다.

ABSTRACT

This work presents a new strategy for multi-class classification that requires no class-specific labels, but instead leverages pairwise similarity between examples, which is a weaker form of annotation. The proposed method, meta classification learning, optimizes a binary classifier for pairwise similarity prediction and through this process learns a multi-class classifier as a submodule. We formulate this approach, present a probabilistic graphical model for it, and derive a surprisingly simple loss function that can be used to learn neural network-based models. We then demonstrate that this same framework generalizes to the supervised, unsupervised cross-task, and semi-supervised settings. Our method is evaluated against state of the art in all three learning paradigms and shows a superior or comparable accuracy, providing evidence that learning multi-class classification without multi-class labels is a viable learning option.

연구 동기 및 목표

• 딥러닝에서 다중 클래스 레이블을 수집하는 데 드는 높은 비용과 제약을 해결하기 위해.
• 더 약한 쌍별 유사도 애너테이션을 활용하여 명시적 클래스 레이블에 대한 의존도를 줄이기 위해.
• 같은 핵심 방법을 사용하여 지도학습, 비지도학습 간 작업 전이, 준지도학습 등 다양한 학습 철학을 지원하는 통합 프레임워크를 개발하기 위해.
• 쌍별 유사도를 통한 학습이 효과적인 다중 클래스 분류를 위해 충분한지를 입증하기 위해.
• 약한 감독 하에서 신경망을 위한 단순하고 확장 가능하며 하이퍼파rameter가 없는 훈련 목표함수를 제공하기 위해.

제안 방법

• 다중 클래스 분류 문제를 메타 문제로 재정의하여, 두 샘플이 같은 클래스에 속하는지 여부를 예측하는 이진 분류기를 학습시킨다.
• 쌍별 유사도와 클래스 소속 관계 간의 관계를 수식화하기 위해 확률적 그래픽 모델을 도입한다.
• 모델의 가능도에서 유도된 단순하고 미분 가능한 손실 함수를 제안하여 신경망의 엔드 투 엔드 훈련을 가능하게 한다.
• 훈련 중에는 단일 이진 분류기를 사용하여 다중 클래스 분류기의 학습을 이끌며, 추론에는 이를 활용한다.
• 비지도학습으로의 일반화를 위해, 훈련된 이진 모델을 사용해 미분류 데이터에 대해 의사 레이블을 생성함으로써 준지도학습에 적용한다.
• 새로운 알 수 없는 클래스에 대해 재학습 없이도 이진 유사도 모델을 전이함으로써 비지도학습 간 작업 전이 학습을 지원한다.

실험 결과

연구 질문

• RQ1 클래스별 레이블이 전혀 없이도 다중 클래스 분류기가 효과적으로 훈련될 수 있는가?
• RQ2 쌍별 유사도는 다중 클래스 분류에서 구분 능력 있는 표현을 학습하는 데 충분한 감독 형태인가?
• RQ3 쌍별 유사도 기반의 통합 프레임워크는 지도학습, 준지도학습, 비지도학습 간 작업 전이 학습을 포함한 다양한 학습 철학을 지원할 수 있는가?
• RQ4 클래스 레이블이 제한적이거나 전혀 없는 설정에서 제안된 방법의 성능가 최신 기술 수준의 방법과 비교해 볼 때 어떻게 되는가?
• RQ5 유도된 손실 함수의 최적화 동작 및 일반화 능력은 다양한 학습 환경에서 어떻게 나타나는가?

주요 결과

• 제안된 MCL 방법은 지도학습에서 최신 기술 수준 또는 경쟁력 있는 정확도를 달성하였으며, 일부 경우에서는 명시적 클래스 레이블이 없이도 표준 지도학습 훈련을 능가하는 성능을 보였다.
• 비지도학습 간 작업 전이 학습에서는 알려지지 않은 클래스로의 일반화가 효과적으로 이루어졌으며, 클래스 식별 정보 없이도 강건성과 전이 가능성(transferability)을 입증하였다.
• CIFAR-10에서 레이블이 4,000개뿐인 준지도학습 설정에서, Pseudo-MCL는 테스트 오차율 18.0% ± 0.4%를 기록하여 최신 기술인 VAT 방법의 성능을 정확히 따라잡았다.
• 절단 실험 결과, 이진 분류기와 다중 클래스 분류기를 동시에 최적화하는 Pseudo-MCL가 고정된 유사도 네트워크(SPAN-MCL)보다 유의미하게 뛰어난 성능을 보였으며, SPAN-MCL는 22.8%의 오차율을 기록하였다. 이는 엔드 투 엔드 훈련의 이점이 있음을 시사한다.
• 마진 임계값 등의 하이퍼파rameter가 없어 훈련을 단순화하고, 특히 데이터가 적은 환경에서 강건성을 향상시킨다.
• 손실 함수의 지형도를 시각화한 결과, MCL 목표함수는 잘 조율되어 있으며 날카로운 국소 최소값을 피하는 경향을 보였으며, 유리한 최적화 역학을 암시한다.