[논문 리뷰] A Sober Look at the Unsupervised Learning of Disentangled Representations and their Evaluation

Francesco Locatello, Stefan Bauer외 5명|arXiv (Cornell University)|2020. 09. 01.

Digital Media Forensic Detection인용 수 14

한 줄 요약

이 논문은 유도적 편향이 없이 비지도 분리 학습이 본질적으로 불가능하다는 것을 증명함으로써, 비지도 분리 학습의 가능성에 도전한다. 8개 데이터셋에서 14,000개의 모델을 대규모로 분석한 결과, 분리도 측정 지표가 서로 일치하지 않으며, 초모델 설정과 난수 시드가 성능에 더 큰 영향을 미치며, 하류 작업에서 샘플 복잡도가 감소하지 않는다는 점을 보여주며, 명시적 유도적 편향의 사용과 재현 가능한 평가 프로토콜의 필요성을 제기한다.

ABSTRACT

The idea behind the \emph{unsupervised} learning of \emph{disentangled} representations is that real-world data is generated by a few explanatory factors of variation which can be recovered by unsupervised learning algorithms. In this paper, we provide a sober look at recent progress in the field and challenge some common assumptions. We first theoretically show that the unsupervised learning of disentangled representations is fundamentally impossible without inductive biases on both the models and the data. Then, we train over $14000$ models covering most prominent methods and evaluation metrics in a reproducible large-scale experimental study on eight data sets. We observe that while the different methods successfully enforce properties "encouraged" by the corresponding losses, well-disentangled models seemingly cannot be identified without supervision. Furthermore, different evaluation metrics do not always agree on what should be considered "disentangled" and exhibit systematic differences in the estimation. Finally, increased disentanglement does not seem to necessarily lead to a decreased sample complexity of learning for downstream tasks. Our results suggest that future work on disentanglement learning should be explicit about the role of inductive biases and (implicit) supervision, investigate concrete benefits of enforcing disentanglement of the learned representations, and consider a reproducible experimental setup covering several data sets.

연구 동기 및 목표

• 비지도 분리 학습이 유도적 편향 없이 가능하다는 가정에 도전하기 위해.
• 현재 사용 중인 분리도 측정 지표의 신뢰성과 다양한 방법 및 데이터셋 간 일관성 평가하기 위해.
• 분리된 표현이 실제로 하류 작업에서 샘플 효율성을 향상시키는지 조사하기 위해.
• 10,000개의 훈련된 모델과 새로운 라이브러리인 disentanglement_lib을 공개하여 재현 가능성 향상시키기 위해.
• 비지도 분리 학습의 현재 상태를 객관적으로 평가하며, 암묵적 지도 학습과 모델 편향의 역할을 강조하기 위해.

제안 방법

• 이론적으로 모델과 데이터에 대한 유도적 편향이 없이 비지도 분리 학습이 본질적으로 불가능하다는 것을 증명한다.
• 여섯 가지 최근의 분리 학습 방법을 사용하여 여덟 가지 다양한 데이터셋에서 14,000개 이상의 모델을 훈련하는 대규모 실험적 연구를 수행한다.
• 재현 가능성과 일관성을 확보하기 위해 일곱 가지 분리도 평가 지표를 처음부터 직접 구현한다.
• 고정된 아키텍처와 각 방법에 대해 하나의 핵심 초모델 설정에 대해 초모델 설정 스윕을 수행하는 표준화된 실험 프로토콜을 사용한다.
• 분리된 표현의 훈련 및 평가를 위한 새로운 오픈소스 라이브러리인 disentanglement_lib을 공개한다.
• 앞서 나온 연구에서 재현 가능성을 높이기 위해 10,000개 이상의 훈련된 모델을 공개한다.

실험 결과

연구 질문

• RQ1 모델과 데이터에 대한 유도적 편향이 없이 비지도 분리 학습은 본질적으로 가능할 수 있는가?
• RQ2 다양한 분리도 평가 지표가 어느 모델이 분리되어 있는지에 대해 일치하는가?
• RQ3 초모델 설정과 난수 시드가 모델 아키텍처 선택보다 분리도 성능에 얼마나 더 큰 영향을 미치는가?
• RQ4 분리도가 향상될수록 하류 학습 작업에서 샘플 복잡도가 감소하는가?
• RQ5 기본 진술 레이블에 접근할 수 없을 때 잘 분리된 모델를 신뢰할 수 있게 식별할 수 있는가?

주요 결과

• 이론적 분석을 통해 모델과 데이터에 대한 유도적 편향이 없이 비지도 분리 학습이 본질적으로 불가능하다는 것을 증명한다.
• 집합 사후분포에서 잠재 차원 간 상관관계를 제거하기 위해 조건을 부여함에도 불구하고, 평균 표현은 여전히 차원 간 상관관계를 유지한다.
• 분리도 측정 지표는 추정 방식에서 체계적인 차이를 보이며, 일반적으로 어떤 모델이 가장 분리되어 있는지에 대해 일치하지 않는다.
• 초모델 설정과 난수 시드가 모델 아키텍처 선택보다 분리도 성능에 더 큰 영향을 미친다.
• 하류 분류 작업에서 분리도 향상이 샘플 복잡도 감소에 기여한다는 증거는 발견되지 않았다.
• 동일한 방법으로 훈련된 모델라도 초모델 설정이나 난수 시드가 다를 경우 상호 겹치는 분리도 점수를 생성함으로써, 지도 없이 양호한 모델를 식별하기 어려운 것으로 드러났다.