[논문 리뷰] Unsupervised Learning via Meta-Learning

Kyle Hsu, Sergey Levine외 1명|arXiv (Cornell University)|2018. 10. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 55인용 수 128

한 줄 요약

논문은 CACTUs를 제안하는데, 이는 라벨이 없는 데이터에서 임베딩과 클러스터링을 통해 자동으로 감독형과 유사한 태스크를 구성하는 비지도 메타러닝 프레임워크로, 어떠한 라벨도 없이 다운스트림 태스크에 대한 효과적인 few-shot 학습을 가능하게 한다.

ABSTRACT

A central goal of unsupervised learning is to acquire representations from unlabeled data or experience that can be used for more effective learning of downstream tasks from modest amounts of labeled data. Many prior unsupervised learning works aim to do so by developing proxy objectives based on reconstruction, disentanglement, prediction, and other metrics. Instead, we develop an unsupervised meta-learning method that explicitly optimizes for the ability to learn a variety of tasks from small amounts of data. To do so, we construct tasks from unlabeled data in an automatic way and run meta-learning over the constructed tasks. Surprisingly, we find that, when integrated with meta-learning, relatively simple task construction mechanisms, such as clustering embeddings, lead to good performance on a variety of downstream, human-specified tasks. Our experiments across four image datasets indicate that our unsupervised meta-learning approach acquires a learning algorithm without any labeled data that is applicable to a wide range of downstream classification tasks, improving upon the embedding learned by four prior unsupervised learning methods.

연구 동기 및 목표

• 레이블이 없는 데이터로부터 다운스트림 학습을 효율적으로 가능하게 하기 위해 대리 비지도 목표가 아닌 학습 절차를 최적화한다.
• 임베딩과 클러스터링을 사용하여 레이블이 없는 데이터로부터 구조화된 학습 태스크를 자동으로 구성한다.
• 여러 이미지 데이터셋에 걸쳐 다양한 사람 설계 하다운스트림 태스크로의 전이를 입증한다.
• 학습된 학습 절차가 임베딩만 기반의 베이스라인을 능가하고 특정 조건에서 지도 메타학습에 근접함을 보인다.

제안 방법

• 레이블이 없는 데이터셋을 입력으로 받아 비지도 임베딩 방법 E로 임베딩을 학습한다.
• 무작위 스케일링으로 k-평균을 수행하여 임베딩 공간의 여러 분할을 생성하고 다양한 태스크 분포를 만든다.
• 선택된 클러스터들로부터 M-웨이, K-샷 분류 태스크를 구성해 라벨 없이 메타-training 태스크를 형성한다.
• 메타러닝 알고리즘(MAML과 ProtoNets)을 적용하여 새 태스크에 빠르게 적응하는 절차 F를 학습한다.
• 여러 데이터셋에 걸쳐 다운스트림의 인간이 설계한 태스크(문자 인식, 물체 분류, 얼굴 속성 구분)에 대해 학습된 학습 절차를 평가한다.
• CACTUs 기반 메타러닝을 임베딩 기반 베이스라인 및 오라클 지도학습 메타러닝과 비교한다.

실험 결과

연구 질문

• RQ1 비지도 메타러닝(CACTUs)이 임베딩 기반 방법보다 다운스트림 태스크 성능을 개선하는 학습 절차를 제공하는가?
• RQ2 CACTUs가 서로 다른 임베딩 공간과 비지도 학습 방법에서도 효과적인가?
• RQ3 학습된 학습 절차가 다양한 다운스트림 태스크와 샷 설정(1샷에서 50샷)에 전이될 수 있는가?
• RQ4 손으로 설계된 태스크 분포를 사용하는 지도 메타학습(오라클)과의 비교에서 비지도 CACTUs의 성능은 어떠한가?

주요 결과

• CACTUs-MAML은 여러 데이터셋에 걸쳐 다운스트림의 적은 샷 태스크에서 임베딩 기반 베이스라인을 지속적으로 능가한다.
• CACTUs-ProtoNets도 성능이 향상되지만, 메타학습과 테스트 샷이 불일치하는 일부 설정에서는 ProtoNets가 성능이 떨어질 수 있다.
• CACTUs는 메타학습 중 라벨 없이도 문자 인식, 물체 분류, 얼굴 속성 태스크 등 다양한 다운스트림 태스크에 대해 사용 가능한 사전 정보를 제공한다.
• 임베딩 공간의 선택이 성능에 영향을 주며, 더 나은 임베딩 방법일수록 더 강한 비지도 메타러닝 결과와 상관된다.
• 임베딩 공간에서의 클러스터링을 통한 비무작위 태스크 구성은 무작위 혹은 픽셀 공간 태스크 구성에 비해 상당히 우수하며, 여러 분할에 걸친 구성이 견고성을 높인다.
• 오라클 지도 메타학습 설정과의 성능 차이는 태스크 난이도와 데이터 중첩에 따라 달라지며, 더 쉬운 태스크일수록 차이가 작다.