[논문 리뷰] Early Visual Concept Learning with Unsupervised Deep Learning

Irina Higgins, Löıc Matthey외 6명|arXiv (Cornell University)|2016. 06. 17.

Generative Adversarial Networks and Image Synthesis참고 문헌 28인용 수 127

한 줄 요약

이 논문은 neuroscience-inspired 제약을 갖춘 변분 오토인코더(VAE)가 원시 이미지로부터 해리된 연속적 시각 요인을 학습하여 제로샷 추론과 객체성 같은 emergent 개념을 감독 없이 가능하게 함을 보여준다.

ABSTRACT

Automated discovery of early visual concepts from raw image data is a major open challenge in AI research. Addressing this problem, we propose an unsupervised approach for learning disentangled representations of the underlying factors of variation. We draw inspiration from neuroscience, and show how this can be achieved in an unsupervised generative model by applying the same learning pressures as have been suggested to act in the ventral visual stream in the brain. By enforcing redundancy reduction, encouraging statistical independence, and exposure to data with transform continuities analogous to those to which human infants are exposed, we obtain a variational autoencoder (VAE) framework capable of learning disentangled factors. Our approach makes few assumptions and works well across a wide variety of datasets. Furthermore, our solution has useful emergent properties, such as zero-shot inference and an intuitive understanding of "objectness".

연구 동기 및 목표

• 무감독 심층 생성 모델이 연속적 시각 요인의 해리된 표현을 학습할 수 있음을 증명한다.
• 데이터 연속성, 중복 감소, 독립성이라는 뇌과학 영감을 받은 압력을 VAE 프레임워크에 도입한다.
• 해리화를 정량적으로 평가하고 emergent 속성과 제로샷 추론을 보여준다.
• 아키텍처, 데이터셋 및 노이즈 설정 전반에 걸친 강건성을 보여준다.

제안 방법

• 잠재 요인에 대한 사전분포를 가지는 VAE를 구성하고 중복 감소와 독립성을 강제하기 위해 beta-정규화된 목적함수를 설정한다 (L = E_q[log p(x|z)] - beta * KL(q(z|x)||p(z))).
• 잠재 요인 간 독립성을 유도하기 위해 등방성 가우시안 사전을 사용한다.
• 연속 변환이 있는 데이터셋에서 학습하여 매니폴드 학습과 해리화를 장려한다.
• 어떤 생성 요인이 프레임 전이를 야기했는지 예측하는 요인-변화 분류기로 해리화를 정량화한다.
• 보지 않은 요인 조합과 새로운 물체 정체성을 테스트하여 제로샷 일반화를 평가한다.
• 새로운 물체를 대상으로 추론을 테스트하여 객체성 같은 emergent 개념을 입증한다.

실험 결과

연구 질문

• RQ1 무감독 심층 생성 모델이 연속적 시각 요인의 해리된 표현을 학습할 수 있음을 확인할 수 있는가?
• RQ2 데이터 연속성, 중복 감소, 독립성 압력이 VAE의 해리화에 어떤 영향을 미치는가?
• RQ3 해리된 표현이 제로샷 추론 및 새로운 물체로의 일반화를 가능하게 하는가?
• RQ4 해리된 VAE의 객체성 및 새로운 작업으로의 전이 측면에서 어떤 emergent 속성이 나타나는가?

주요 결과

• 적절한 학습 압력으로 해리된 VAE는 위치, 스케일, 회전 등 서로 구분되는 연속 요인에 대응하는 잠재 단위를 학습한다.
• 데이터 연속성의 감소는 해리화를 손상시키고, beta 값이 최적점까지 증가하면 해리화를 향상시킨다.
• 더 큰 잠재 공간은 더 강한 정규화된 beta를 필요로 하며, beta와 해리화 사이에는 역 U자 관계가 있다.
• 해리된 표현은 보지 못한 요인 조합과 새로운 물체에 대한 제로샷 추론을 가능하게 한다.
• 해리된 VAE는 데이터의 통계에 부합하는 독립적 잠재 요인을 할당하여 새로운 조합과 작업으로의 일반화를 개선한다.
• 재구성 품질만으로는 해리화를 판단하기에 충분하지 않으며, 해리된 모델은 더 흐릿한 재구성을 만들 수 있다.