[논문 리뷰] Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations

Francesco Locatello, Stefan Bauer외 5명|arXiv (Cornell University)|2018. 11. 29.

Anomaly Detection Techniques and Applications인용 수 612

한 줄 요약

본 논문은 비지도 해리(disentanglement)가 귀납적 바이어스가 필요하다는 것을 증명하고, 하이퍼파라미터와 시드가 결과를 지배한다는 대규모 실증 연구를 수행하며, 해리에서 다운스트림 샘플 효율성의 명확한 이점이 없다는 것을 밝혔다.

ABSTRACT

The key idea behind the unsupervised learning of disentangled representations is that real-world data is generated by a few explanatory factors of variation which can be recovered by unsupervised learning algorithms. In this paper, we provide a sober look at recent progress in the field and challenge some common assumptions. We first theoretically show that the unsupervised learning of disentangled representations is fundamentally impossible without inductive biases on both the models and the data. Then, we train more than 12000 models covering most prominent methods and evaluation metrics in a reproducible large-scale experimental study on seven different data sets. We observe that while the different methods successfully enforce properties ``encouraged'' by the corresponding losses, well-disentangled models seemingly cannot be identified without supervision. Furthermore, increased disentanglement does not seem to lead to a decreased sample complexity of learning for downstream tasks. Our results suggest that future work on disentanglement learning should be explicit about the role of inductive biases and (implicit) supervision, investigate concrete benefits of enforcing disentanglement of the learned representations, and consider a reproducible experimental setup covering several data sets.

연구 동기 및 목표

• 모델과 데이터에 대한 귀납적 바이어스가 필요하다는 이론적 입증을 한다.
• 재현 가능한 설정에서 일곱 데이터셋에 걸쳐 여섯 가지 해리 방법과 여섯 가지 지표를 경험적으로 평가한다.
• 해리화가 다운스트림 작업 성능 및 샘플 효율성 향상과의 상관관계가 있는지 평가한다.

제안 방법

• 인자화된 priors 가정과 함께하는 순수 비지도 해리에 대한 불가능성 결과를 형식적으로 증명한다.
• 최근의 여섯 가지 비지도 해리 방법과 여섯 가지 지표를 처음부터 구현한다.
• 고정된 아키텍처와 다수의 무작위 시드 및 하이퍼파라미터를 사용하여 일곱 데이터셋에 걸쳐 12,000개가 넘는 모델을 학습한다.
• disentanglement_lib 를 사용하여 표현을 학습하고 평가하며 대규모의 재현 가능한 벤치마크를 제공한다.
• 집계된 후포스터의 인자 분해와 평균 표현 독립성 간의 상관관계를 분석한다.
• 해리 점수, 하이퍼파라미터, 시드, 그리고 다운스트림 작업 성능 간의 관계를 조사한다.

실험 결과

연구 질문

• RQ1 모델과 데이터에 대한 귀납적 바이어스가 없으면 비지도 해리화는 신뢰성 있게 달성될 수 있는가?
• RQ2 현 시점의 비지도 방법들이 데이터셋과 지표 전반에서 해리된 표현을 신뢰성 있게 생성하는가?
• RQ3 하이퍼파라미터, 무작위 시드, 모델 선택이 해리점수와 다운스트림 작업에 유용성에 어떤 영향을 주는가?
• RQ4 해리된 표현이 실제로 다운스트림 학습의 샘플 효율성에 이익을 주는가?

주요 결과

• 모델과 데이터에 대한 귀납적 바이어스가 없으면 비지도 해리화는 신뢰성 있게 달성될 수 없다.
• 집계된 포스터는 인자화될 수 있지만 평균 표현은 종종 상관된 차원을 보이며 일반적인 해리 가정을 어렵게 한다.
• 무작위 시드와 하이퍼파라미터가 결과에 상당한 영향을 주며, 모델 선택은 튜닝만큼 예측력이 높지 않다.
• 해리 지표는 상관 경향이 있지만 데이터셋에 따라 상관 정도가 다르다; 모듈러리(Modularity)는 다른 지표들과 다르게 동작한다.
• 더 높은 해리가 다운스트림 작업의 샘플 효율성을 향상시키거나 데이터 요구를 줄인다는 일관된 증거가 없다.
• 재현 가능한 실험 설정과 귀납적 바이어스에 대한 명시적 고려가 해리된 표현 학습의 발전에 필수적이다.