[논문 리뷰] Relevance Factor VAE: Learning and Identifying Disentangled Factors

Minyoung Kim, Yuting Wang외 2명|arXiv (Cornell University)|2019. 02. 05.

Digital Media Forensic Detection참고 문헌 19인용 수 22

한 줄 요약

이 논문은 학습 가능한 관련성 지표 변수를 사용하여 잠재 공간 내에서 의미 있는 요소와 잡음 요소를 자동으로 식별함으로써 비지도 학습 방식으로 분리 표현을 학습하는 새로운 VAE 기반 모델인 Relevance-Factor VAE를 소개한다. 총 상관관계 손실을 관련성이 높은 요소에만 집중하고, 불필요한 요소에 대해서는 높은 사전 KL 발산을 허용함으로써, 기준 데이터셋에서 최신 기술 수준의 분리 성능을 달성하였으며, 정성적 평가와의 일치도 향상 및 새로운 평가 지표 도입도 이루어졌다.

ABSTRACT

We propose a novel VAE-based deep auto-encoder model that can learn disentangled latent representations in a fully unsupervised manner, endowed with the ability to identify all meaningful sources of variation and their cardinality. Our model, dubbed Relevance-Factor-VAE, leverages the total correlation (TC) in the latent space to achieve the disentanglement goal, but also addresses the key issue of existing approaches which cannot distinguish between meaningful and nuisance factors of latent variation, often the source of considerable degradation in disentanglement performance. We tackle this issue by introducing the so-called relevance indicator variables that can be automatically learned from data, together with the VAE parameters. Our model effectively focuses the TC loss onto the relevant factors only by tolerating large prior KL divergences, a desideratum justified by our semi-parametric theoretical analysis. Using a suite of disentanglement metrics, including a newly proposed one, as well as qualitative evidence, we demonstrate that our model outperforms existing methods across several challenging benchmark datasets.

연구 동기 및 목표

• 기존 비지도 분리 기법이 잠재 공간 내 의미 있는 요소와 불필요한 요소를 구분하지 못하는 한계를 해결하기 위해.
• 사전에 요소의 수나 성격을 알지 못한 채로도 진정한 분리 요소의 수와 정체성을 자동으로 식별할 수 있는 방법을 개발하기 위해.
• 총 상관관계 손실을 관련 요소에만 집중하고 불필요한 요소에 대해서는 높은 사전 KL 발산을 허용함으로써 분리 성능을 향상시키기 위해.
• 정성적 평가와 더 잘 일치하는 분리 성능 평가 지표(지표 II)를 도입하기 위해.
• 불필요한 요소에 대해 높은 사전 KL 발산을 허용하면서도 관련 요소에 대해서는 분리를 유지할 수 있는 반정적 이론적 근거를 제공하기 위해.

제안 방법

• 각 잠재 차원에 대해 학습 가능한 관련성 지표 변수(r_i)를 도입하여 관련 요소와 불필요한 요소를 구분한다.
• 총 상관관계(TC) 손실을 관련성 점수가 높은 잠재 차원에만 적용함으로써 VAE 목적함수를 수정함으로써, 불필요한 요소를 효과적으로 걸러낸다.
• 불필요한 요소에 대해 사전 KL 발산을 정규화 요소로 간주하여, 표준 정규 분포에서의 큰 이탈을 허용하되 성능 저하 없이 유지한다.
• 엔드 투 엔드 백프로파게이션을 통해 VAE 파라미터와 관련성 지표를 동시에 최적화하는 공동 최적화 프레임워크를 사용한다.
• 불필요한 요소에 대해 높은 사전 KL 발산을 허용하는 설계 선택의 타당성을 보다 반정적 이론 분석을 통해 정당화한다.
• 학습된 요소 이동과 인간이 애너테이션한 요소 의미 간의 일치를 기반으로 한 새로운 분리 지표(Metric II)를 제안한다.

실험 결과

연구 질문

• RQ1 VAE 기반 모델이 요소의 수나 성격을 사전에 알지 못한 채로도 비지도 환경에서 관련 요소의 변화를 자동으로 식별하고 집중할 수 있는가?
• RQ2 총 상관관계 손실을 관련 요소에만 적용하고 불필요한 요소에 대해서는 높은 사전 KL 발산을 허용하는 것이, 균일한 TC 적용 대비 분리 성능 향상에 기여하는가?
• RQ3 특히 요소의 수가 알려져 있지 않거나 이산적이고 저카디널리티 요소가 존재할 경우, 제안된 관련성 지표 메커니즘이 진정한 분리 요소의 수를 얼마나 잘 식별하는가?
• RQ4 새로운 분리 지표(Metric II)가 정성적 평가와의 일치도가 어느 정도 높은가?
• RQ5 모델은 얼굴 이미지와 같은 복잡하고 상호의존적이거나 이산적인 요소가 존재하는 실세계 데이터셋(Celeb-A 등)에도 일반화 가능한가?

주요 결과

• RF-VAE는 Sprites, Teapots, Celeb-A를 포함한 여러 기준 데이터셋에서 표준 및 신규 제안된 모든 분리 지표에서 기존 최신 기술 수준의 모델을 압도적으로 뛰어넘는 성능을 보였다.
• Sprites 데이터셋에서 RF-VAE는 지표 I 및 II 모두에서 거의 완벽한 분리 성능 점수를 기록했으며, β-VAE 및 Factor-VAE와 같은 기준 모델들을 크게 능가했다.
• Sprites의 타원형만 포함된 서브셋에서 RF-VAE는 다섯 개의 관련 잠재 차원을 정확히 식별했고, 회전은 두 개의 차원에 분산되어 저장되어 정성적 기대와 일치했다.
• Teapots 데이터셋에서 RF-VAE는 다섯 개의 진짜 요소를 포함해 일곱 개의 관련 요소를 식별했으며, 다섯 개의 요소를 가정한 RF-VAE-0보다 성능이 뛰어나, 유연한 요소 식별 방식이 성능 향상에 기여함을 시사했다.
• 불필요한 요소와 상호의존적인 요소가 존재하는 Celeb-A에서 모델은 헤어 컬러, 성별, 표정과 같은 핵심 속성을 잘 식별하는 데에 성공했으며, 강건성을 입증했다.
• β-VAE는 Teapots에서 성능이 열악했으며, 이는 입력과 잠재 공간 간의 정보 흐름을 감소시키는 과도한 정규화 때문일 가능성이 높아, 이 기법의 알려진 한계를 확인시켰다.