[논문 리뷰] TVAE: Triplet-Based Variational Autoencoder using Metric Learning

Haque Ishfaq, Assaf Hoogi외 1명|arXiv (Cornell University)|2018. 02. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 7인용 수 12

한 줄 요약

이 논문은 삼중항 기반 변동형 오토인코더(TVAE)라는 새로운 프레임워크를 제안한다. 이 프레임워크는 표준 VAE 목적함수와 함께 삼중항 손실을 최적화하여 딥 메트릭 학습을 VAE에 통합한다. 삼중항 이미지(기준, 양성, 음성)를 기반으로 훈련함으로써 TVAE는 의미적 유사성을 유지하는 더 구조적이고 세밀한 잠재 공간을 학습한다. MNIST에서 95.60%의 삼중항 정확도를 달성하여 표준 VAE(75.08%)보다 유의미하게 뛰어난 성능을 보였다.

ABSTRACT

Deep metric learning has been demonstrated to be highly effective in learning semantic representation and encoding information that can be used to measure data similarity, by relying on the embedding learned from metric learning. At the same time, variational autoencoder (VAE) has widely been used to approximate inference and proved to have a good performance for directed probabilistic models. However, for traditional VAE, the data label or feature information are intractable. Similarly, traditional representation learning approaches fail to represent many salient aspects of the data. In this project, we propose a novel integrated framework to learn latent embedding in VAE by incorporating deep metric learning. The features are learned by optimizing a triplet loss on the mean vectors of VAE in conjunction with standard evidence lower bound (ELBO) of VAE. This approach, which we call Triplet based Variational Autoencoder (TVAE), allows us to capture more fine-grained information in the latent embedding. Our model is tested on MNIST data set and achieves a high triplet accuracy of 95.60% while the traditional VAE (Kingma & Welling, 2013) achieves triplet accuracy of 75.08%.

연구 동기 및 목표

• 잠재 표현에서 세밀한 의미적 구조를 포착하는 데에 표준 VAE의 한계를 해결하기 위해.
• 딥 메트릭 학습을 VAE 훈련에 통합하여 학습된 임bedding의 품질을 향상시키기 위해.
• 특히 자원이 제한되거나 극단적인 분류 시나리오에서 데이터 포인트 간 상대적인 유사성 관계를 유지할 수 있도록 하기 위해.
• 재구성 손실, KL 발산, 삼중항 손실를 조합하여 표현 학습과 생성 성능을 동시에 향상시키기 위해.
• 제안된 방법이 이미지 생성 품질을 떨어뜨리지 않고도 잠재 공간 내의 의미적 구조를 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 삼중항의 세 입력에 대해 공유된 인코더 및 디코더 네트워크를 사용하는 표준 VAE 아키텍처를 사용한다.
• 인코더는 입력 이미지를 잠재 평균 벡터로 매핑하며, 이는 상대적 거리 기반으로 삼중항 손실을 계산하는 데 사용된다.
• 삼중항 손실는 $\mathcal{L}_{triplet} = \max\{0, ||f(x_a) - f(x_p)||_2 - ||f(x_a) - f(x_n)||_2 + m\}$로 정의되며, $m$은 마진이다.
• 총 손실는 $\mathcal{L}_{TVAE} = \mathcal{L}_{rec} + \mathcal{L}_{KL} + \mathcal{L}_{triplet}$로, 재구성, KL 발산, 삼중항 구성요소를 조합한다.
• 훈련 중에 삼중항이 선택되며, 이때 기준은 양성보다 음성보다 더 유사하다.
• 역전파를 사용하여 전체 손실 함수를 최소화하기 위해 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 삼중항 기반 메트릭 학습을 VAE에 통합하면 학습된 잠재 표현의 의미적 구조가 향상되는가?
• RQ2 제안된 TVAE 프레임워크는 표준 VAE보다 데이터 포인트 간 상대적 유사성 관계를 더 효과적으로 유지하는가?
• RQ3 TVAE는 잠재 공간의 해석 가능성과 구조를 향상시키는 동시에 높은 품질의 이미지 생성을 유지할 수 있는가?
• RQ4 삼중항 손실의 포함 여부가 잠재 공간 내에서 클래스 간 클러스터링 및 분리에 어떤 영향을 미치는가?
• RQ5 TVAE는 MNIST와 같은 벤치마크 데이터셋에서 표준 VAE보다 세밀한 데이터 유사성 포착 능력에서 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• TVAE는 MNIST 테스트 세트에서 95.60%의 삼중항 정확도를 달성하여 잠재 공간 내 상대적 유사성의 강력한 유지가 이루어졌음을 시사한다.
• 표준 VAE는 단지 75.08%의 삼중항 정확도를 기록하여 의미적 유사성 유지 측면에서 뚜렷한 성능 격차가 있음을 보여준다.
• t-SNE 시각화 결과, TVAE는 표준 VAE보다 다양한 숫자 클래스에 대해 더 단단하고 잘 분리된 클러스터를 생성한다.
• TVAE의 잠재 평균 벡터는 더 구조적이고 분산이 적어져서 클래스 간 오버랩과 클래스 내 분할을 줄인다.
• TVAE에서 재구성된 이미지의 품질은 표준 VAE와 유사하여 생성 능력에 하락이 없음을 나타낸다.
• 삼중항 손실의 추가로 잠재 공간의 해석 가능성은 향상되었고, VAE의 입력 이미지 재구성 능력은 손상되지 않았다.