[논문 리뷰] Supervising Unsupervised Learning

Vikas Garg, Adam Tauman Kalai|arXiv (Cornell University)|2017. 09. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 18인용 수 10

한 줄 요약

이 논문은 비지도학습(UL) 문제를 메타분포에서 추출된 샘플로 간주하고, 이질적인 레이블이 부여된 데이터셋 렌포지토리를 활용해 UL 작업을 지도학습적으로 감독하는 메타비지도학습(MUL) 프레임워크를 제안한다. 알고리즘 선택과 데이터 특징에 대한 지도학습으로 UL을 환원함으로써, 원칙적인 평가, 클러스터링 성능 향상, 최적 하이퍼파ram터 선택, 이상치 제거, 다양한 도메인 간 딥러닝 기반 제로샷 일반화를 가능하게 하여, 훈련되지 않은 데이터에 대해서도 기준 모델을 능가한다.

ABSTRACT

We introduce a framework to leverage knowledge acquired from a repository of (heterogeneous) supervised datasets to new unsupervised datasets. Our perspective avoids the subjectivity inherent in unsupervised learning by reducing it to supervised learning, and provides a principled way to evaluate unsupervised algorithms. We demonstrate the versatility of our framework via simple agnostic bounds on unsupervised problems. In the context of clustering, our approach helps choose the number of clusters and the clustering algorithm, remove the outliers, and provably circumvent the Kleinberg's impossibility result. Experimental results across hundreds of problems demonstrate improved performance on unsupervised data with simple algorithms, despite the fact that our problems come from heterogeneous domains. Additionally, our framework lets us leverage deep networks to learn common features from many such small datasets, and perform zero shot learning.

연구 동기 및 목표

• 비지도학습의 본질적 주관성과 평가 기준 부족 문제를 지도학습 기반의 메타프레임워크에 기반시켜 해결하고자 한다.
• 다양한 도메인에서 비지도학습 알고리즘(예: 클러스터링)을 원칙적이고 객관적으로 평가하고 향상시키는 방법을 제공하고자 한다.
• 이전에 지도학습된 데이터셋 레포지토리의 지식을 활용해 최적의 클러스터링 알고리즘, 클러스터 수, 이상치 제거 전략을 선택할 수 있도록 하고자 한다.
• 작은 이질적인 데이터셋을 조합하여 대규모 훈련 세트를 만들고, 딥러닝 네트워크가 공유된 특징을 학습함으로써 제로샷 전이를 가능하게 할 수 있음을 보여주고자 한다.
• 지식기반의 불가능성 결과(Kleinberg의 불가능성 결과)를 극복하기 위해, 지도학습된 진짜 레이블이 있는 여러 문제를 통해 학습함으로써 클러스터링의 일관성 있는 선호도를 학습하고자 한다.

제안 방법

• 모든 비지도학습 문제를 메타분포 µ에서 추출된 샘플로 모델링하고, 각 레이블이 부여된 데이터셋을 지도학습 작업의 학습 예제로 간주한다.
• OpenML 등의 다양한 레이블이 부여된 데이터셋 레포지토리를 활용해, 클러스터링 파라미터나 특징 표현과 같은 최적의 UL 해답을 예측하는 메타알고리즘을 훈련시킨다.
• 쌍별 거리와 공분산 행렬에서 유도된 특징을 사용해, 동일한 클래스에서 온 경우는 1로, 그렇지 않은 경우는 0으로 레이블이 부여된 이진 분류 작업을 구성한다.
• 특징 벡터의 뒤집기와 같은 데이터 증강 기법을 활용해 강건성을 향상시키며, 병합된 메타데이터셋에 대해 딥뉴럴넷을 훈련하여 클래스 유사도를 예측한다.
• 새로운 레이블이 없는 데이터셋에 대해 훈련된 모델을 적용할 때는 동일 클래스 확률을 예측하고, 평균 확률이 0.5를 초과할 경우에만 쌍을 클러스터링한다.
• 일반화 및 제로샷 성능 평가를 위해 메타내부 및 메타외부 테스트 세트를 사용하며, 후자는 훈련 데이터와 동일한 카테고리에 속하지 않은 데이터를 포함한다.

실험 결과

연구 질문

• RQ1 레이블이 부여된 데이터셋 레포지토리를 활용함으로써 비지도학습 문제를 잘 정의하고 객관적으로 평가할 수 있는가?
• RQ2 이전에 지도학습된 문제의 구조만을 사용해도, 다양한 이질적인 데이터셋에서 클러스터링 성능을 향상시킬 수 있는가?
• RQ3 여러 개의 지도학습된 문제를 통해 학습함으로써, Kleinberg의 클러스터링 불가능성 결과를 회피할 수 있는가?
• RQ4 딥러닝 모델이 작은 이질적인 데이터셋에서 학습한 후, 새로운 보이지 않는 비지도학습 과제로 얼마나 잘 일반화되는가?
• RQ5 다양한 소규모 데이터셋에서 공유된 특징을 학습함으로써, 다양한 데이터 유형 간 제로샷 학습을 가능하게 할 수 있는가?

주요 결과

• 메타내부 및 메타외부 테스트 세트에서 둘 다 다수결 룰 기반 기준 모델을 뛰어넘는 성능을 보였으며, 특히 외부 데이터가 훈련에 사용된 카테고리와 다른 경우에도 성능이 유의미하게 유지되었다.
• 이전에 지도학습된 데이터에서 최적의 하이퍼파ram터와 이상치 제거 전략을 학습함으로써, 단순한 알고리즘을 사용해도 수백 개의 비지도학습 데이터셋에서 클러스터링 성능이 향상되었다.
• 여러 지도학습된 문제에서 일관된 클러스터링 선호도를 학습함으로써 Kleinberg의 불가능성 결과를 성공적으로 회피하였으며, 임의의 축약 기반 실패를 방지하였다.
• 수천 개의 예제를 수백 개의 작은 이질적 데이터셋에서 조합함으로써, 딥뉴럴넷 훈련에 적합한 대규모 메타데이터셋을 구축하였다.
• 딥뉴럴넷 모델은 새로운 데이터로도 효과적으로 일반화되었으며, 자연어처리, 컴퓨터 비전, 바이오인포매틱스 등 다양한 도메인에서 제로샷 능력을 입증하였다.
• 메타외부 테스트 데이터에서 평균 정확도는 0.75에 도달했고, 표준편차는 0.05였으며, 이는 훈련 데이터 분포를 초월한 강력한 일반화 능력을 보여주었다.