[논문 리뷰] Meta-Unsupervised-Learning: A supervised approach to unsupervised learning

Vikas Garg, Adam Tauman Kalai|arXiv (Cornell University)|2016. 12. 29.

Anomaly Detection Techniques and Applications참고 문헌 14인용 수 3

한 줄 요약

이 논문은 과거에 레이블이 부여된 데이터셋을 활용하여 군집화, 이상치 탐지, 유사도 예측 등의 비지도 학습 작업을 지도 학습 문제로 환원하는 메타-비지도학습 프레임워크를 제안한다. 다양한 분류 문제로 구성된 레포지터리에서 훈련함으로써, 이 방법은 최적의 군집 알고리즘, 하이퍼파라미터, 이상치 임계값을 선택하는 데에 능숙해지며, 새로운 데이터에 대해서조차도 기존 히ュ리스틱 기반 기준보다 뚜렷이 뛰어난 성능을 보이며 클러스터링에 대한 클라인버그의 불가능성 정리도 회피한다.

ABSTRACT

We introduce a new paradigm to investigate unsupervised learning, reducing unsupervised learning to supervised learning. Specifically, we mitigate the subjectivity in unsupervised decision-making by leveraging knowledge acquired from prior, possibly heterogeneous, supervised learning tasks. We demonstrate the versatility of our framework via comprehensive expositions and detailed experiments on several unsupervised problems such as (a) clustering, (b) outlier detection, and (c) similarity prediction under a common umbrella of meta-unsupervised-learning. We also provide rigorous PAC-agnostic bounds to establish the theoretical foundations of our framework, and show that our framing of meta-clustering circumvents Kleinberg's impossibility theorem for clustering.

연구 동기 및 목표

• 비지도 학습의 본질적 주관성과 객관적 평가의 부재를 해결하기 위해 이를 메타학습 문제로 재정의하는 것.
• 과거의 지도 학습 작업에서 유래한 데이터 기반의 이식 가능 지식을 활용해 군집 알고리즘, 클러스터 수, 이상치 임계값 선택의 어려움을 줄이는 것.
• 비지도 문제에 대한 메타분포를 활용하여 클러스터링에 대한 클라인버그의 불가능성 정리를 회피할 수 있는 이론적으로 타당한 접근법을 제공하는 것.
• 다양한 도메인의 이질적인 과거 레이블이 부여된 데이터셋이 새로운 레이블이 없는 비지도 문제의 성능 향상에 기여할 수 있음을 보여주는 것.
• 다양한 도메인에서 수집한 집계된 비레이블 데이터로 훈련된 신경망이 새로운 비지도 작업으로 일반화될 수 있는지 보여주는 것.

제안 방법

• 각 레이블이 부여된 데이터셋을 메타-예시로 간주하며, 레이블에서 유도된 진짜 군집(ground-truth clustering)을 비지도 학습의 목표로 정의한다.
• 군집화 및 유사도 예측과 같은 비지도 문제를 이원 분류 문제로 환원하여, 두 개체가 같은 클러스터에 속하는지 여부를 나타내는 레이블을 사용한다.
• OpenML에서 확보한 100개 이상의 데이터셋 레포지터리에서 훈련하여, 군집 지표와 데이터 특성에서 유도된 특징 벡터를 사용한다.
• ReLU 활성화 함수를 사용하는 4층 피드포워드 네트워크를 사용하며, 출력은 로그-소프트맥스이며, Adadelta 최적화와 음의 로그우도 손실 함수를 사용해 10 에포크 동안 훈련한다.
• 예측 시, 한 쌍과 그 반대 쌍의 모델 출력을 평균내어 대칭성을 확보하고, 평균 확률이 0.5를 초과하면 같은 클러스터로 할당한다.
• 내부 및 외부 테스트 세트에서 성능을 평가하며, 훈련에 사용되지 않은 분할 데이터를 포함하여 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 과거에 레이블이 부여된 데이터를 활용하여 비지도 학습 문제를 체계적으로 지도 학습 문제로 환원할 수 있는가?
• RQ2 과거의 지도 학습 작업에서 학습한 메타 접근법이 다양한 데이터셋에서 군집화 성능을 향상시킬 수 있는가?
• RQ3 다양한 레이블이 부여된 데이터셋의 이질적인 레포지터리를 활용하면 히ュ리스틱 기반 기본 설정보다 더 나은 군집 알고리즘과 하이퍼파라미터 선택이 가능한가?
• RQ4 훈련 데이터에 해당 데이터 분포가 포함되어 있지 않더라도, 이 프레임워크는 새로운 데이터 분포로 일반화될 수 있는가?
• RQ5 다양한 도메인에서 수집한 집계된 비레이블 데이터로 훈련된 신경망이 비지도 의사결정 능력을 얼마나 향상시킬 수 있는가?

주요 결과

• 메타-접근법은 내부 및 외부 테스트 세트에서 다수결 규칙 기반 기준을 뚜렷이 뛰어넘었으며, 메타-ET에서 평균 정확도 0.75를 기록하여 강력한 일반화 능력을 입증했다.
• K-평균 군집화 알고리즘이 히ュ리스틱 선호도가 아닌 데이터 기반 평가 기반으로 레포지터리 내 모든 데이터셋에서 다른 네 가지 알고리즘보다 뛰어난 성능을 보였다.
• 클러스터 수 선택에 대한 표준 히ュ리스틱에서 시스템적 편향이 발견되었으며, 이러한 편향은 메타학습된 지식을 활용해 수정 가능했다.
• 과거 데이터에서 최적의 임계값을 학습함으로써 이상치 제거 성능을 향상시켜 군집 품질을 향상시켰다.
• 다양한 도메인의 집계된 비레이블 데이터로 훈련된 신경망 모델은 훈련에 사용되지 않은 분할에서 온 테스트 데이터가 포함된 새로운 비지도 문제로도 효과적으로 일반화되었다.
• 이 프레임워크는 비지도 문제에 대한 메타분포를 통합함으로써 클라인버그의 클러스터링에 대한 불가능성 정리를 이론적으로 회피할 수 있는 기반을 제공한다.