[논문 리뷰] Unsupervised Learning of the Set of Local Maxima

Lior Wolf, Sagie Benaim외 1명|arXiv (Cornell University)|2020. 01. 14.

Face and Expression Recognition인용 수 5

한 줄 요약

이 논문은 레이블이 없는 데이터로부터 알려지지 않은 값 함수 $v$의 국소 최댓값을 식별하기 위해 집합 지표 분류기 $c$와 비교 함수 $h$를 동시에 학습하는 새로운 비지도 학습 프레임워크를 제안한다. 상호 보완적 감독을 통해, 근처 점들이 $h$에 의해 낮게 예측되는 경우 $c$의 음성 예외로 활용함으로써, 단일 클래스 분류보다 이상 탐지 성능을 향상시킨다. 이론적 지원을 위해 일반화 경계가 유도되었다.

ABSTRACT

This paper describes a new form of unsupervised learning, whose input is a set of unlabeled points that are assumed to be local maxima of an unknown value function v in an unknown subset of the vector space. Two functions are learned: (i) a set indicator c, which is a binary classifier, and (ii) a comparator function h that given two nearby samples, predicts which sample has the higher value of the unknown function v. Loss terms are used to ensure that all training samples x are a local maxima of v, according to h and satisfy c(x)=1. Therefore, c and h provide training signals to each other: a point x' in the vicinity of x satisfies c(x)=-1 or is deemed by h to be lower in value than x. We present an algorithm, show an example where it is more efficient to use local maxima as an indicator function than to employ conventional classification, and derive a suitable generalization bound. Our experiments show that the method is able to outperform one-class classification algorithms in the task of anomaly detection and also provide an additional signal that is extracted in a completely unsupervised way.

연구 동기 및 목표

• 레이블이 없는 데이터로부터 알려지지 않은 값 함수 $v$의 국소 최댓값 집합을 지도 없이 학습하는 것.
• 단일 클래스 분류의 한계를 해결하기 위해, 단순한 클래스 소속성을 넘어서 품질이나 최적성과 같은 정보를 캡처하는 별도의 값 함수를 도입하는 것.
• 분류기 $c$와 비교 함수 $h$가 국소 이웃 정보를 활용해 상호 보완적 감독을 수행하는 공동 학습 기제를 개발하는 것.
• 제안된 방법의 일반화 경계를 도출하여, 국소 최댓값 학습의 이론적 신뢰성을 확보하는 것.

제안 방법

• 이 방법은 두 함수를 학습한다: 제약 조건을 만족하는 점을 식별하는 이진 분류기 $c$(즉, $c(\mathbf{x})=1$)와, 두 근처 점 중 어느 쪽이 알려지지 않은 함수 $v$에서 더 높은 값을 가지는지를 예측하는 비교 함수 $h$.
• 학습 과정에서 각 학습 점 $\mathbf{x}$가 국소 최댓값이 되도록 강제한다: 이웃 영역 $N_\epsilon(\mathbf{x})$ 내의 모든 $\mathbf{u}$에 대해 $v(\mathbf{u}) < v(\mathbf{x})$가 성립해야 하며, 이는 $h$를 통해 검증된다.
• 분류기 $c$는 $h$에 의해 $v(\mathbf{x}') \geq v(\mathbf{x})$로 예측되는 근처 점 $\mathbf{x}'$ 또는 $c(\mathbf{x}') = -1$를 만족하는 점을 거부하도록 학습되며, 이는 음성 신호를 형성한다.
• 값 함수 $v$는 단조성의 모호성으로 인해 직접 학습되지 않으며, 대신 두 점 간의 상대적 값 순서를 예측하는 미분 가능한 비교 함수 $h$를 학습한다.
• 대비 및 마진 기반 손실을 사용하는 공동 최적화 프레임워크를 통해 $h$가 근처 점들을 올바르게 순서 매기고, $c$가 국소 최댓값을 정확히 분류하도록 보장한다.
• PAC-베이지안 접근을 통해 일반화를 경계화하며, 이 경계는 모델 파라미터에 대한 사전 및 사후 분포 간의 KL 발산에 의존한다.

실험 결과

연구 질문

• RQ1 공동으로 학습된 분류기와 비교 함수가 비지도 환경에서 알려지지 않은 값 함수의 국소 최댓값을 효과적으로 식별할 수 있는가?
• RQ2 분류기 $c$와 비교 함수 $h$ 간의 공동 학습 메커니즘이 표준 단일 클래스 분류 대비 성능 향상에 어떻게 기여하는가?
• RQ3 제안된 방법의 일반화 행동은 어떠한가? 이는 이론적으로 경계를 가질 수 있는가?
• RQ4 비교 함수 $h$는 클래스 소속성 외에도 이미지 품질이나 적합도와 같은 의미 있는 비지도 신호를 제공할 수 있는가?

주요 결과

• 제안된 방법은 벤치마크 데이터셋에서 표준 단일 클래스 분류 알고리즘보다 이상 탐지 작업에서 더 높은 정확도를 보이며, 성능이 향상됨을 입증하였다.
• 비교 함수 $h$는 분류기 $c$가 포착하는 클래스 소속성 외에도 이미지 품질과 같은 별도의 신호를 성공적으로 캡처하였다.
• 공동 학습 메커니즘은 상호 보완적 감독을 가능하게 하였다: $h$는 근처 점들이 더 높은 순위로 평가될 경우 $c$의 음성 신호를 제공하고, $c$는 $h$의 유효한 국소 이웃 영역을 식별하는 데 기여한다.
• PAC-베이지안 이론을 활용해 일반화 경계를 도출하였으며, 이는 모델 복잡도와 데이터 크기에 따라 스케일링되는 경계를 보여주어 방법의 일반화 능력이 뛰어남을 시사한다.
• 값 함수 $v$의 알려지지 않은 단조성 변환에 대해 강건함을 보였으며, $v$가 아니라 직접 $h$를 학습함으로써 안정적인 학습이 보장되었다.
• 실험 결과, $c$와 $h$의 조합이 $c$만을 사용할 경우보다 더 나은 일반화 성능을 보였으며, 특히 분포 외 샘플 탐지에서 뚜렷한 향상이 있었다.