[논문 리뷰] Disentangling Factors of Variation Using Few Labels

Francesco Locatello, Michael Tschannen외 4명|arXiv (Cornell University)|2019. 05. 03.

Spectroscopy and Chemometric Analyses참고 문헌 70인용 수 50

한 줄 요약

본 논문은 매우 적은 양의 라벨링 데이터가 비지도 및 반지도 학습의 분리 학습을 안내하고, 대규모 실험에서 신뢰할 수 있는 분리 표현과 효과적인 모델 선택을 가능하게 함을 보여준다(52,000개 이상의 모델에 걸친 대규모 실험).

ABSTRACT

Learning disentangled representations is considered a cornerstone problem in representation learning. Recently, Locatello et al. (2019) demonstrated that unsupervised disentanglement learning without inductive biases is theoretically impossible and that existing inductive biases and unsupervised methods do not allow to consistently learn disentangled representations. However, in many practical settings, one might have access to a limited amount of supervision, for example through manual labeling of (some) factors of variation in a few training examples. In this paper, we investigate the impact of such supervision on state-of-the-art disentanglement methods and perform a large scale study, training over 52000 models under well-defined and reproducible experimental conditions. We observe that a small number of labeled examples (0.01--0.5\% of the data set), with potentially imprecise and incomplete labels, is sufficient to perform model selection on state-of-the-art unsupervised models. Further, we investigate the benefit of incorporating supervision into the training process. Overall, we empirically validate that with little and imprecise supervision it is possible to reliably learn disentangled representations.

연구 동기 및 목표

• 제한된 감독으로 실용적인 분리 학습을 고무한다.
• 최신 방법의 모델 선택 및 학습에 소수의 라벨이 미치는 영향을 정량화한다.
• 라벨 불완전성 및 부분 라벨링 하에서 감독의 강건성을 평가한다.
• 분리 표현 학습에서 제한된 감독을 활용하기 위한 실용적인 지침을 제공한다.

제안 방법

• 표준 분리 지표가 매우 적은 라벨로도 좋은 모델을 식별할 수 있는지 평가한다.
• 다양한 라벨링 조건에서 4개 데이터셋에 대해 52,000개 이상의 모델을 100개 또는 1000개의 라벨로 학습한다.
• 검증에 감독 정보를 사용하는 비지도 학습(U/S)과 학습 중 감독을 사용하는 반지도 학습(S2/S)을 비교한다.
• 손실에 간단한 감독 정규화를 도입하여 라벨 정보를 학습에 융합(R_s)하고 그 영향을 평가한다.
• 분리 학습 평가를 위해 MIG, DCI Disentanglement, SAP와 같은 모델 선택 지표 및 테스트 지표를 사용한다.
• 나눠진(이진화된), 노이즈가 있는, 부분 라벨 등 불완전한 라벨과 라벨 순열에 대한 강건성을 검사한다.

실험 결과

연구 질문

• RQ1 적은 수의 라벨링 예제로도 비지도 학습에서 좋은 분리 모델을 선택할 수 있는가?
• RQ2 학습에 한정된 감독을 도입하는 것이 감독된 검증이 있는 비지도 학습보다 성능이 우수한가?
• RQ3 이러한 감독 방식은 라벨 노이즈, 불일치 및 부분 라벨링에 얼마나 강건한가?
• RQ4 결과가 여러 표준 분리 데이터셋에 걸쳐 일반화되는가?

주요 결과

• 적은 양의 라벨(데이터의 0.01–0.5%)로 비지도 분리 학습 방법의 모델 선택을 수행하기에 충분하다.
• 감독된 검증을 갖춘 비지도 학습은 신뢰할 수 있는 분리 표현 학습을 가능하게 한다.
• 학습 중 감독을 도입하는 것이 단지 검증이 포함된 비지도 학습보다 종종 더 우수하다.
• 반지도 학습은 라벨 노이즈 및 부분/조잡한 라벨에 강건하다.
• 더 많은 요인을 거칠게 라벨링하는 것이 소수의 요인을 세밀하게 라벨링하는 것보다 일반적으로 더 도움이 된다.
• 이 접근법은 실제 작업에서 분리된 표현을 활용하기 위한 실용적 지침을 제공한다.