[논문 리뷰] A Spectral Regularizer for Unsupervised Disentanglement

Aditya Ramesh, Youngduck Choi외 1명|arXiv (Cornell University)|2018. 12. 04.

Model Reduction and Neural Networks참고 문헌 24인용 수 17

한 줄 요약

이 논문은 생성 모델의 제너레이터의 야코비안의 상위 오른쪽 특이벡터를 좌표축과 일치시켜 GAN에서 무 supervision으로 분리 가능한 표현을 유도하는 스펙트럴 정규화를 제안한다. 잠재 공간에서 주요 특이벡터를 반복적으로 따라가면서 국소적 분리 가능성을 달성하며, 효율적이고 확장 가능한 정규화를 도입하여 레이블 없이도 최신 기술 수준의 분리 가능성을 달성한다.

ABSTRACT

A generative model with a disentangled representation allows for independent control over different aspects of the output. Learning disentangled representations has been a recent topic of great interest, but it remains poorly understood. We show that even for GANs that do not possess disentangled representations, one can find curved trajectories in latent space over which local disentanglement occurs. These trajectories are found by iteratively following the leading right-singular vectors of the Jacobian of the generator with respect to its input. Based on this insight, we describe an efficient regularizer that aligns these vectors with the coordinate axes, and show that it can be used to induce disentangled representations in GANs, in a completely unsupervised manner.

연구 동기 및 목표

• 감독 없이 또는 레이블이 없는 데이터를 사용할 때 GAN에서 분리 가능한 표현을 학습하는 데 도전하는 것.
• 제너레이터의 야코비안의 주요 오른쪽 특이벡터를 통해 잠재 공간에서 국소적 분리 가능 경로를 식별하는 것.
• 이 특이벡터들을 좌표 방향과 일치시켜 전역적 분리 가능성을 강제하는 효율적이고 확장 가능한 정규화를 개발하는 것.
• 이 정규화가 샘플의 품질을 유지하면서도 GAN에서 분리 가능성 품질을 향상시킨다는 것을 보여주는 것.

제안 방법

• 해당 방법은 주어진 잠재점에서 제너레이터의 야코비안의 주요 오른쪽 특이벡터를 사용하여 국소적 분리 가능 방향을 식별한다.
• 이 특이벡터들을 반복적으로 따라가면서 잠재 공간 내 경로를 구성함으로써 생성된 출력에서 이해할 수 있고 분리 가능한 변화를 유도한다.
• 상위-k 오른쪽 특이벡터를 첫-k 표준 기저 벡터(좌표 방향)와 일치시키는 스펙트럴 정규화를 제안한다.
• 순차적 의존성을 피하기 위해 병렬로 상위-k 특이벡터를 계산할 수 있는 미분 가능하고 효율적인 파wer 반복 기법을 통해 정규화를 구현한다.
• 정규화는 펜alty 가중치 λ를 사용해 GAN 학습 목표에 통합되며, 최적화 과정에서 일치를 촉진한다.
• 방향성 일치를 강제하기 위해 마스크된 하다르드 곱을 사용하며, 마스크 s₁, s₂ 등은 최적화가 좌표 방향을 향해 유도하도록 한다.

실험 결과

연구 질문

• RQ1 제너레이터의 야코비안의 주요 오른쪽 특이벡터를 따라가면 GAN에서 국소적 분리 가능성을 달성할 수 있는가?
• RQ2 이 특이벡터들을 좌표축과 일치시키는 정규화를 설계하여 전역적 분리 가능성을 유도할 수 있는가?
• RQ3 제안된 정규화는 실용적인 GAN 학습에 충분히 효율적이고 확장 가능한가?
• RQ4 이 방법은 무 supervision 설정에서 최신 기술 수준의 분리 가능성 성능를 달성하는가?

주요 결과

• 제너레이터의 야코비안의 주요 오른쪽 특이벡터는 잠재 공간 내에서 국소적 분리 가능성을 유도하는 경로를 정의한다.
• 이 경로를 따라가면 생성된 이미지에서 이해할 수 있고 분리 가능한 변화가 발생하며, 예를 들어 콘텐츠를 유지하면서 제어 가능한 카메라 각도 변화가 가능하다.
• 제안된 스펙트럴 정규화는 레이블 데이터나 아키텍처 수정 없이도 GAN에서 분리 가능한 표현을 성공적으로 유도한다.
• 정량적 경로 분석을 통해 일관되고 특성에 특화된 변화가 나타나는 것으로 보아, 높은 수준의 분리 가능성 품질을 달성한다.
• 상위-k 특이벡터를 병렬로 계산하는 파워 반복 기법 덕분에 계산적으로 효율적이며, 실용적인 학습을 가능하게 한다.