[논문 리뷰] Progressive Learning and Disentanglement of Hierarchical Representations

Zhiyuan Li, Jaideep Vitthal Murkute외 2명|arXiv (Cornell University)|2020. 02. 24.

Generative Adversarial Networks and Image Synthesis참고 문헌 21인용 수 11

한 줄 요약

이 논문은 계층적 표현의 분리도를 향상시키기 위해 고수준에서 저수준 추상화로 점진적으로 네트워크 용량을 증가시키는 프로그레시브 학습 프레임워크 pro-VLAE를 제안한다. 고수준 특징에서 시작하여 점차 저수준 세부 정보를 추가함으로써, pro-VLAE는 벤치마크 데이터셋에서 기존 방법들인 β-VAE, VLAE 및 트레이너-스터디 모델을 초월하는 뛰어난 분리도 성능을 달성한다. 이는 상호정보량 기반 신규 지표를 포함한 세 가지 지표에서 성과를 내며, 특히 계층적 표현의 분리도를 향상시킨다.

ABSTRACT

Learning rich representation from data is an important task for deep generative models such as variational auto-encoder (VAE). However, by extracting high-level abstractions in the bottom-up inference process, the goal of preserving all factors of variations for top-down generation is compromised. Motivated by the concept of "starting small", we present a strategy to progressively learn independent hierarchical representations from high- to low-levels of abstractions. The model starts with learning the most abstract representation, and then progressively grow the network architecture to introduce new representations at different levels of abstraction. We quantitatively demonstrate the ability of the presented model to improve disentanglement in comparison to existing works on two benchmark data sets using three disentanglement metrics, including a new metric we proposed to complement the previously-presented metric of mutual information gap. We further present both qualitative and quantitative evidence on how the progression of learning improves disentangling of hierarchical representations. By drawing on the respective advantage of hierarchical representation learning and progressive learning, this is to our knowledge the first attempt to improve disentanglement by progressively growing the capacity of VAE to learn hierarchical representations.

연구 동기 및 목표

• 고수준 추상화와 완전한 요인 보존 간의 갈등이 발생할 때, 심층 생성 모델에서 계층적 표현의 분리도를 해결하는 것.
• 고수준에서 저수준 추상화로 점진적으로 모델 용량을 증가시키는 프로그레시브 학습 전략이 변분 오토에인드어의 분리도를 향상시킬 수 있는지 탐구하는 것.
• 계층적이고 단계적인 방식으로 표현을 학습하는 것이 동시에 학습하는 것보다 더 나은 분리도를 가능하게 한다는 것을 입증하는 것.
• 계층적 표현의 분리도 평가를 보완하기 위해 상호정보량 기반 신규 지표를 도입하는 것.

제안 방법

• 모델은 가장 추상적인 표현에 집중하는 얕은 VAE 아키텍처로 학습을 시작한다.
• 학습이 진행됨에 따라 점차 더 낮은 수준의 추상화에서 새로운 잠재 레이어를 네트워크 아키텍처에 추가한다.
• 각 신규 레이어는 재구성 손실과 정규화된 목적함수의 조합을 통해 해당 추상화 수준에서 요인의 분리도를 장려하도록 훈련된다.
• 이 방법은 변분 래더 오토에인드어(VLAE) 프레임워크를 기반으로 하지만, 시간이 지남에 따라 용량을 점진적으로 증가시키는 학습 스케줄을 도입한다.
• 계층적 분리도 평가를 위해 상호정보량 기반의 새로운 분리도 지표를 제안한다.
• 훈련 과정은 커리큘럼 전략과 유사하게, 먼저 고수준 의미를 학습한 후에 세부 정보를 도입한다.

실험 결과

연구 질문

• RQ1 고수준에서 저수준 추상화로 점진적인 용량 증가 전략이 계층적 변분 오토에인드어에서 분리도를 향상시킬 수 있는가?
• RQ2 다양한 추상화 수준에서 프로그레시브 학습 전략이 동시에 학습하는 것과 비교해 분리도 품질에 어떤 영향을 미치는가?
• RQ3 제안된 방법이 β-VAE, VLAE 및 트레이너-스터디 모델과 같은 기존 방법들을 얼마나 뛰어나게 성능 향상시킬 수 있는가?
• RQ4 상호정보량 분해를 통해 측정했을 때, 프로그레시브 훈련 스케줄이 추상화 수준 간 정보 할당을 더 체계적으로 유도하는가?
• RQ5 제안된 방법은 고수준(예: 성별, 숫자 식별자)과 저수준(예: 눈썹 그림자, 선 굵기) 요인을 계층적이고 해석 가능한 방식으로 분리도를 달성할 수 있는가?

주요 결과

• pro-VLAE는 제안된 상호정보량 기반 지표를 포함한 세 가지 평가 지표에서 MNIST 및 CelebA 데이터셋에서 최신 기술 수준의 분리도 성능을 달성했다.
• 입력과 잠재 변수 간의 상호정보량은 레이어 간에 점진적으로 변화했다: 3DShapes의 경우 $I(\bm{x};\bm{z}_3)$는 10.59에서 6.94로 감소했고, $I(\bm{x};\bm{z}_2)$는 0.02에서 5.98로 증가하여 관련 수준에 정보 할당이 더 잘 이루어졌음을 나타냈다.
• 총 상호정보량 $I(\bm{x};\bm{z})$는 10.61에서 12.84로 증가하여 전반적인 표현 학습 능력 향상을 보여주었다.
• 트레이너-스터디 모델은 상호정보량 할당 변화가 느리고 $I_{over}$ (혼합 정보)가 더 높아, 용량과 지도 학습 제약로 인해 분리도가 덜 효과적임을 시사했다.
• 정성적 분석을 통해 깊은 레이어는 고수준 특징(예: 성별, 인종)을 분리도 있게 학습하는 반면, 浅층 레이어는 저수준 세부 정보(예: 눈썹 그림자, 모발 질감)를 포착하며, 깊이에서 浅층으로 갈수록 고유한 표현 수가 감소함을 확인했다.
• 프로그레시브 전략은 먼저 추상적 표현을 학습한 후 점차 저수준 요소를 분리도 있게 학습함으로써, 더 나은 분리도를 지원하는 계층적 학습 궤적을 실현했다.