[논문 리뷰] Disentangling by Factorising

Hyunjik Kim, Andriy Mnih|arXiv (Cornell University)|2018. 02. 16.

Digital Media Forensic Detection참고 문헌 49인용 수 423

한 줄 요약

FactorVAE는 VAE의 총상관(Total Correlation) 패널티를 도입하여 VAEs의 팩토리얼 잠재 코드 분포를 장려하고 재구성 품질이 비슷한 경우 beta-VAE보다 더 나은 해체성을 제공한다. 또한 판별자 기반의 강건한 해체성 측정 지표를 제안하고 InfoWGAN-GP와의 비교를 수행한다.

ABSTRACT

We define and address the problem of unsupervised learning of disentangled representations on data generated from independent factors of variation. We propose FactorVAE, a method that disentangles by encouraging the distribution of representations to be factorial and hence independent across the dimensions. We show that it improves upon $β$-VAE by providing a better trade-off between disentanglement and reconstruction quality. Moreover, we highlight the problems of a commonly used disentanglement metric and introduce a new metric that does not suffer from them.

연구 동기 및 목표

• 잠재 요인이 독립된 데이터 요인과 정렬되도록 해체된 표현의 무감독 학습을 동기화한다.
• beta-VAE의 해체성과 재구성 간의 균형을 분석하고 이 균형을 개선하는 방법을 제안한다.
• 잠재 코드의 독립성을 촉진하기 위한 총상관 패널티를 소개하고 검증한다.
• 기존 지표의 약점을 회피하는 강건한 해체성 측정 지표를 제안한다.
• 다수의 데이터셋에서 FactorVAE를 beta-VAE 및 InfoWGAN-GP와 비교한다.

제안 방법

• 잠재 분포의 팩토리얼 특성을 촉진하기 위해 총상관 항을 VAE 목적식에 추가: 로그우도 최대화와 KL(q(z)||bar{q}(z))를 페널링하는 것, 여기서 bar{q}(z)는 주변 분포의 곱이다.
• TC 항을 q(z)와 bar{q}(z) 간의 밀도비(trick)로 구분하는 판별기를 사용하여 근사한다.
• 전체 데이터 패스를 거치지 않고 막대화된 z의 바깥 합성(bar{q}(z))를 근사하는 순열 기반 샘플링 절차(Alg. 1)를 사용한다.
• VAE와 TC-판별기를 함께 학습시키되 TC 그래디언트 신호를 gamma 하이퍼파라미터로 스케일링한다.
• FactorVAE(Alg. 2)의 의사코드를 제시하고 데이터 공간이 아닌 잠재 공간의 분기 다름(발생 분포의 차이)에 대한 안정성 고려를 논의한다.
• 정규화 이후 차원 간의 최소 경험 분산을 평가하여 고정된 요인에 대응하는 잠재 차원을 측정하는 하이퍼파라미터 없는 새로운 해체성 지표를 도입한다.

실험 결과

연구 질문

• RQ1 잠재 코드에 대한 총상관 패널티가 재구성 품질을 희생하지 않으면서 해체성을 향상시키는가?
• RQ2 FactorVAE는 데이터 요인이 이미 알려진 경우와 알려지지 않은 경우에 대해 해체성과 재구성 측면에서 beta-VAE 및 InfoWGAN-GP와 비교하여 어떤 차이가 있는가?
• RQ3 Higgins 등이 제시한 해체성 지표의 약점은 무엇이며 더 강건한 대안을 제안할 수 있는가?
• RQ4 판별자 기반 TC 추정이 해체를 위해 안정적이고 효과적인 최적화 신호를 제공하는가?

주요 결과

• FactorVAE는 2D Shapes 및 3D Shapes에서 유사한 재구성 품질에 대해 beta-VAE보다 더 높은 해체성 점수를 달성한다.
• 제안된 TC 기반 패널티는 잠재 코드의 총상관을 감소시켜 잠재 차원 간의 독립성을 개선한다.
• 새로운 해체성 측정 지표는 개념적으로 더 간단하고 하이퍼파라미터가 없으며 기존 지표의 실패 모드를 피한다.
• InfoWGAN-GP는 테스트된 형상 데이터셋에서 VAE 기반 방법에 비해 일반적으로 성능이 떨어지며 아키텍처에 민감하게 반응한다.
• FactorVAE는 알려진 요인뿐 아니라 알려지지 않은 요인을 가진 여러 데이터셋에서도 해체성 점수를 높이면서 재구성 품질도 경쟁력 있거나 더 우수하게 유지한다.
• 판별자 기반 TC 추정은 실제 TC를 과소추정하는 경향이 있지만 TC가 감소할수록 학습 중 해체성과의 상관관계가 좋아진다.