[논문 리뷰] Disentangling Factors of Variations Using Few Labels

Francesco Locatello, Michael Tschannen외 4명|arXiv (Cornell University)|2020. 04. 30.

Digital Media Forensic Detection참고 문헌 62인용 수 52

한 줄 요약

이 논문은 인과적 요인의 최소한의 정확하지 않은 레이블링(전체 데이터의 0.01–0.5%)이 표현 학습에서 신뢰할 수 있는 분리 표현을 가능하게 하는지 조사한다. 52,000개의 모델을 대상으로 한 대규모 연구를 통해, 약한 지도 학습 조건이라도 효과적인 모델 선택과 학습이 가능하며, 인간의 레이블링을 최소화함으로써 최신 기술 수준의 분리 표현을 달성할 수 있음을 입증한다.

ABSTRACT

Learning disentangled representations is considered a cornerstone problem in representation learning. Recently, Locatello et al. (2019) demonstrated that unsupervised disentanglement learning without inductive biases is theoretically impossible and that existing inductive biases and unsupervised methods do not allow to consistently learn disentangled representations. However, in many practical settings, one might have access to a limited amount of supervision, for example through manual labeling of (some) factors of variation in a few training examples. In this paper, we investigate the impact of such supervision on state-of-the-art disentanglement methods and perform a large scale study, training over 52000 models under well-defined and reproducible experimental conditions. We observe that a small number of labeled examples (0.01--0.5% of the data set), with potentially imprecise and incomplete labels, is sufficient to perform model selection on state-of-the-art unsupervised models. Further, we investigate the benefit of incorporating supervision into the training process. Overall, we empirically validate that with little and imprecise supervision it is possible to reliably learn disentangled representations.

연구 동기 및 목표

• 최소한의 지도 학습이 표현 학습에서 신뢰할 수 있는 분리 표현을 가능하게 할 수 있는지 조사하기.
• 소수의 레이블(가능성이 높게 정확하지 않은 레이블)이 분리 표현을 위한 모델 선택 및 학습에 미치는 영향 평가하기.
• 이론적 제약이 있는 무 supervision 분리 표현 학습을 극복하는 데 약한 지도 학습의 효과를 경험적으로 검증하기.
• 제한된 레이블링 조건에서 분리 표현을 평가하기 위한 재현 가능한 벤치마크 제공하기.

제안 방법

• 정의된 조건에서 재현 가능하게 설정된 대규모 실험 설계를 통해 총 52,000개의 모델을 학습.
• 비교를 위해 기존 최신 기술 수준의 무 supervision 분리 표현 모델을 기준으로 활용.
• 전체 데이터의 0.01–0.5%에 해당하는 희소 레이블링을 적용하여, 가능성이 높은 불완전하거나 정확하지 않은 레이블을 활용해 모델 선택 및 학습을 유도.
• 레이블이 부여된 예시를 활용해 후보 모델 중 성능이 가장 우수한 무 supervision 모델을 선별.
• 학습 과정에 직접적으로 지도 정보를 통합하여 분리 표현 성능 향상.
• 통제된, 재현 가능한 환경에서 표준 지표를 사용해 분리 표현의 품질 평가.

실험 결과

연구 질문

• RQ1 전체 데이터의 0.01–0.5%에 해당하는 소수의 레이블 예시가 최적의 분리 표현 모델을 효과적으로 선별하는 데 충분한가?
• RQ2 학습 과정에 약한 지도 학습을 통합하면 분리 표현 성능이 뚜렷이 향상되는가?
• RQ3 제한된 지도 학습 조건에서 정확하지 않거나 불완전한 레이블에 대해 분리 표현 방법은 얼마나 강건한가?
• RQ4 지시 학습이 무 supervision 분리 표현 학습의 이론적 한계를 완화할 수 있는가?

주요 결과

• 전체 데이터의 0.01–0.5%에 해당하는 소수의 레이블 예시만으로도 가장 우수한 성능을 보이는 무 supervision 분리 표현 모델을 신뢰성 있게 선별할 수 있다.
• 정확하지 않거나 불완전한 레이블이 존재하더라도, 지도 학습이 분리 표현 성능 향상에 일관되게 기여한다.
• 소수의 레이블 기반 모델 선별 방식이 분리 표현 품질 측면에서 순수 무 supervision 접근 방식보다 뛰어난 성능을 보인다.
• 학습 과정에 지도 학습을 통합하면 무 supervision 학습만으로 수행할 경우보다 더 강건하고 잘 분리된 표현을 도출할 수 있다.