[논문 리뷰] Product of Orthogonal Spheres Parameterization for Disentangled Representation Learning

Ankita Shukla, Sarthak Bhagat외 3명|arXiv (Cornell University)|2019. 07. 22.

Generative Adversarial Networks and Image Synthesis참고 문헌 37인용 수 8

한 줄 요약

이 논문은 잠재 공간의 블록 간 정규직교성 조건을 강제함으로써 분리 표현 학습을 향상시키는 PrOSe를 제안한다. 이는 상당한 수준의 분리도 향상으로 이어지며, 기존 VAE 및 오토인코더 프레임워크에 쉽게 통합할 수 있도록 손실 함수에 단순한 정규직교화 항을 추가한다. 다양한 벤치마크에서 최신 기술 수준의 성능을 달성하며, 정보 유출가 줄어들고 더 부드러운 속성 보간이 가능하다.

ABSTRACT

Learning representations that can disentangle explanatory attributes underlying the data improves interpretabilty as well as provides control on data generation. Various learning frameworks such as VAEs, GANs and auto-encoders have been used in the literature to learn such representations. Most often, the latent space is constrained to a partitioned representation or structured by a prior to impose disentangling. In this work, we advance the use of a latent representation based on a product space of Orthogonal Spheres PrOSe. The PrOSe model is motivated by the reasoning that latent-variables related to the physics of image-formation can under certain relaxed assumptions lead to spherical-spaces. Orthogonality between the spheres is motivated via physical independence models. Imposing the orthogonal-sphere constraint is much simpler than other complicated physical models, is fairly general and flexible, and extensible beyond the factors used to motivate its development. Under further relaxed assumptions of equal-sized latent blocks per factor, the constraint can be written down in closed form as an ortho-normality term in the loss function. We show that our approach improves the quality of disentanglement significantly. We find consistent improvement in disentanglement compared to several state-of-the-art approaches, across several benchmarks and metrics.

연구 동기 및 목표

• 이미지 형성 과정에서의 물리적 독립성을 활용하여, 잠재 인자들을 정규직교 원으로 모델링함으로써 분리 표현 학습을 향상시키기.
• 복잡한 비유클리드 잠재 구조(예: 그라스만만, SO(3))를 정규직교 원의 곱 형태로 단순화하여 처리하기.
• 분할된 잠재 공간에서 분리된 속성 간 정보 유출을 줄여 생성 과정의 해석 가능성과 제어력을 향상시키기.
• 기존 분리 표현 프레임워크(예: VAE 및 오토인코더)에 통합 가능한 일반화 가능하고 경량화된 정규화 기법 개발하기.
• 잠재 블록 간 정규직교성이 더 깔끔한 속성 분리도와 더 의미 있는 보간을 이끌어내는지 경험적으로 검증하기.

제안 방법

• 각 분리된 변동 인자에 해당하는 잠재 공간을 정규직교 원의 곱 형태로 매개변수화하기.
• 다양이 가능한 손실 항을 통해 잠재 블록 간 정규직교성을 강제하여 제약 조건을 닫힌 형태의 정규화로 단순화하기.
• 아키텍처의 대대적인 개선 없이도 기존 분리 표현 프레임워크(예: VAE, 오토인코더, MIX)에 정규직교화 항을 통합하기.
• 정규직교성 제약 조건의 해석 가능성과 대칭성을 확보하기 위해 각 인자에 대해 동일한 크기의 잠재 블록 사용하기.
• β-VAE 및 Factor-VAE를 포함한 변동형 및 오토인코더 기반 모델에 모두 적용하여 광범위한 평가 수행하기.
• t-SNE 시각화, 보간, 속성 예측 작업을 활용하여 분리도 품질 평가하기.

실험 결과

연구 질문

• RQ1 표준적인 분할된 잠재 공간 방법과 비교해 정규직교 원의 곱 형태 매개변수화가 분리도 향상에 기여하는가?
• RQ2 잠재 블록 간 정규직교성을 강제하면 분리된 속성 간 정보 유출이 감소하는가?
• RQ3 제안된 방법이 VAE 및 오토인코더와 같은 기존 분리 표현 프레임워크에 원활하게 통합될 수 있는가?
• RQ4 다양한 데이터셋에서 PrOSe의 속성 보간 및 분리도 메트릭 성능은 어떠한가?
• RQ5 정규직교성 제약 조건이 기존 기준 대비 더 의미 있고 부드러운 분리된 생성 결과를 이끌어내는가?

주요 결과

• t-SNE 플롯에서 명확한 속성 분리가 관찰됨에 따라, PrOSe는 MNIST, 2D Sprites, CelebA 등 다양한 벤치마크에서 분리도 향상이 뚜렷하게 나타났다.
• 보간 결과는 다른 속성(예: 얼굴 모양, 표정)에 뜻하지 않은 변화 없이 더 부드럽고 의미 있는 속성 전이를 보였다.
• 속성 예측 모델의 오분류율이 증가함에 따라 PrOSe 적용 시 분리된 인자 간 정보 유출 감소를 확인할 수 있었다.
• β-VAE 및 Factor-VAE에 적용했을 때 mAP 메트릭에서 최신 기술 수준의 성능 달성하였으며, 인자 간 유출 감소를 확인하였다.
• qualitative 및 quantitative 분석을 통해 생성 이미지 품질은 유지하면서도 분리도 향상을 달성하였다.
• 손실 함수에 단순한 정규직교화 항을 추가함으로써 다양한 아키텍처 및 데이터셋에서 일관된 성능 향상이 가능했다.