[논문 리뷰] Latent Space Factorisation and Manipulation via Matrix Subspace Projection

Xiao Li, Chenghua Lin외 3명|arXiv (Cornell University)|2019. 07. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 32인용 수 12

한 줄 요약

이 논문은 자동에코더 잠재공간 내 레이블이 부여된 속성을 직교 부분공간으로 투영함으로써 별도의 적대적 훈련이나 복잡한 손실 가중치 설정 없이 깔끔하고 고립된 속성 조작이 가능한 간단하고 플러그인 방식인 행렬 부분공간 투영(MSP)을 제안한다. MSP는 이미지 및 텍스트 분야에서 최고 수준의 분리도와 조건부 생성 품질을 달성하면서도 비타겟 속성에 대한 간섭을 최소화한다.

ABSTRACT

We tackle the problem disentangling the latent space of an autoencoder in order to separate labelled attribute information from other characteristic information. This then allows us to change selected attributes while preserving other information. Our method, matrix subspace projection, is much simpler than previous approaches to latent space factorisation, for example not requiring multiple discriminators or a careful weighting among their loss functions. Furthermore our new model can be applied to autoencoders as a plugin, and works across diverse domains such as images or text. We demonstrate the utility of our method for attribute manipulation in autoencoders trained across varied domains, using both human evaluation and automated methods. The quality of generation of our new model (e.g. reconstruction, conditional generation) is highly competitive to a number of strong baselines.

연구 동기 및 목표

• 제어 가능한 생성을 위해 자동에코더 잠재공간 내 다른 특성 정보와 레이블이 부여된 속성을 분리하는 데 도전하는 것.
• 복잡한 손실 가중치 설정, 다중 판별기, 훈련 불안정성 문제를 야기하는 복잡한 적대적 방법의 한계를 극복하는 것.
• 다양한 도메인(예: 이미지 및 텍스트)에서 다양한 자동에코더(VAE, seq2seq 등)와 호환되는 일반적이고 플러그인 방식의 솔루션을 개발하는 것.
• 속성 조작이 타겟 속성 외의 비타겟 속성에 영향을 최소화하여 영향을 주지 않도록 보장하는 것.
• 잠재공간 내 설명 요소를 고립시킴으로써 높은 품질의 조건부 생성 및 재구성을 달성하는 것.

제안 방법

• MSP는 각 열이 레이블이 부여된 속성에 해당하는 학습된 행렬 M을 사용해 잠재공간을 직교 부분공간으로 투영함으로써 분리도를 확보한다.
• 손실에 정규화를 적용하여 M이 근사적으로 직교하도록 훈련함으로써 M^T M이 항등행렬에서 벗어나지 않도록 한다.
• M으로부터 영공간(null space)을 구성하여 비속성 정보를 유지하고, 잠재공간의 전체 기저를 형성한다.
• 기존 자동에코더에 플러그인 방식으로 적용되며, 원본 모델 아키텍처를 변경하지 않고 오직 잠재공간 투영만 수정한다.
• 이미지 생성의 경우, 디코더에서 이미지 선명도를 향상시키기 위해 PatchGAN 판별기를 추가한다.
• 다른 잠재성분을 유지하면서 오직 속성 전용 부분공간만 조작함으로써 조건부 생성을 지원한다.

실험 결과

연구 질문

• RQ1 복잡한 손실 가중치 설정이나 보조 네트워크 없이도 단순한 비적대적 방법이 자동에코더 잠재공간 내 여러 레이블이 부여된 속성을 분리할 수 있는가?
• RQ2 MSP가 속성 정보를 얼마나 잘 고립시키는가? 즉, 한 속성을 변경할 때 비타겟 속성이 의도치 않게 영향을 받는 정도는 어떠한가?
• RQ3 MSP는 이미지 및 텍스트와 같은 다양한 자동에코더 아키텍처와 도메인으로 일반화될 수 있는가?
• RQ4 강력한 적대적 기반선 대비 MSP는 재구성 및 조건부 생성 품질에서 경쟁력을 갖는가?
• RQ5 학습된 투영 행렬 M에서 직교성이 얼마나 효과적으로 유지되는가? 이는 속성 간의 최소한의 혼란을 보장한다.

주요 결과

• MSP는 비타겟 속성에 대한 영향이 최소화된 뛰어난 분리도를 달성하였으며, 예를 들어 CelebA에서 성별을 변경했을 때 콧수염 속성에 영향을 주는 정도가 0.03%에 불과했고, Fader 대비 12.5%에 못 미쳤다.
• MSP는 유의미하게 비타겟 속성 변화를 줄였다: 이미지 편집에서 MSP는 RelGAN 및 Fader 모델에서 관찰된 피부 및 눈 색상 변화를 피했다.
• 인간 평가 결과, MSP가 생성한 이미지가 타겟 속성 변화에 더 충실하고 비타겟 속성에 의해 오염되지 않은 것으로 확인되었다.
• 정량적 평가에서 MSP의 속성 조작은 비타겟 속성에 대한 간섭이 낮았으며(예: 성별 변경 시 콧수염 속성 변화 0.03%), Fader(12.5%) 및 RelGAN(10.2%)에 비해 뛰어났다.
• M^T M 및 U^T U의 히트맵 분석 결과 M는 거의 직교적임을 확인하였으며, 일부 충돌하는 속성 조합(예: 흐트러진 머리카락 × 박스 × 앞트임)에서 약간의 혼란이 존재하였다.
• E2E 코퍼스에서의 텍스트 생성에서 MSP는 레스토랑 이름 및 평점 등 속성을 성공적으로 교체하면서도 다른 단어를 유지함으로써 교차 도메인 적용 가능성을 입증하였다.