[논문 리뷰] Learning Flat Latent Manifolds with VAEs

Nutan Chen, Alexej Klushyn외 3명|arXiv (Cornell University)|2020. 02. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 50인용 수 4

한 줄 요약

이 논문은 잠재 공간을 스케일링된 항등 행렬로 정규화된 리만 다양체로 모델링하여 유클리드 거리가 데이터 유사도의 타당한 대체 측도가 되도록 하는 플랫 매니폴드 변동형 오토인코더(FM-VAE)를 제안한다. 계층적 사전 분포와 리만 계량 텐서 정규화를 결합함으로써, 레이블이 없는 데이터에서도 비디오 추적에서 최신의 감독 학습 기반 성능을 달성하는 비지도 유사도 학습을 실현하였으며, ID 전환 수를 최소화하고 k-d 트리를 통한 효율적인 추론이 가능하다.

ABSTRACT

Measuring the similarity between data points often requires domain knowledge, which can in parts be compensated by relying on unsupervised methods such as latent-variable models, where similarity/distance is estimated in a more compact latent space. Prevalent is the use of the Euclidean metric, which has the drawback of ignoring information about similarity of data stored in the decoder, as captured by the framework of Riemannian geometry. We propose an extension to the framework of variational auto-encoders allows learning flat latent manifolds, where the Euclidean metric is a proxy for the similarity between data points. This is achieved by defining the latent space as a Riemannian manifold and by regularising the metric tensor to be a scaled identity matrix. Additionally, we replace the compact prior typically used in variational auto-encoders with a recently presented, more expressive hierarchical one---and formulate the learning problem as a constrained optimisation problem. We evaluate our method on a range of data-sets, including a video-tracking benchmark, where the performance of our unsupervised approach nears that of state-of-the-art supervised approaches, while retaining the computational efficiency of straight-line-based approaches.

연구 동기 및 목표

• 표준 VAE의 한계를 해결하기 위해, 국소적 데이터 변동성을 忽시하는 바람에 유사도 추정이 왜곡되는 밀집된 잠재 공간 문제를 해결한다.
• 비유클리드 성격을 띤 데이터 다양체임에도 불구하고, 잠재 공간 내 유클리드 거리가 의미 있는 데이터 유사도 대체 측도로 기능할 수 있도록 보장한다.
• 표준 정규 사전 분포를 더 표현력 있는 계층적 사전 분포로 대체하여 비지도 표현 학습 성능을 향상시킨다.
• 잠재 공간의 기하학적 평탄함을 강제함으로써, 유사도 검색의 계산 효율성을 확보한다.
• 라벨이 없는 데이터를 요구하지 않으면서도 실시간 응용 분야(예: 다중 객체 추적)에서 감독 학습 기반 최신 기술에 근접한 성능을 달성한다.

제안 방법

• 잠재 공간을 리만 다양체로 모델링하며, 계량 텐서를 스케일링된 항등 행렬로 정규화하여 평탄함을 강제한다.
• 계층적 사전 분포를 사용하여 전역 사전 분포는 표준 정규 분포이고 국소 사전 분포는 신경망을 통해 학습함으로써 표현력 향상.
• ELBO를 최대화하면서 리만 계량 텐서 제약 조건을 만족시키는 제약 조건이 있는 최적화 문제로 학습.
• 디코더의 자코비안을 정규화하여 계량 텐서가 일정하게 유지되도록 하여 잠재 공간의 평탄함을 보장.
• 유사도 검색을 위한 k-d 트리 기반의 효율적 검색이 가능한, 준유클리드 구조를 지닌 잠재 공간을 제공.
• 이 방법은 이미지 및 비디오 데이터셋, 특히 다중 객체 추적을 위한 MOT16 벤치마크에서 평가됨.

실험 결과

연구 질문

• RQ1 잠재 공간이 평탄한 다양체를 이루도록 VAE를 훈련시킬 수 있을까? 이 경우 유클리드 거리가 데이터 유사도를 정확히 반영할 수 있는가?
• RQ2 표준 정규 사전 분포를 계층적 사전 분포로 대체하면 비지도 유사도 학습에서 잠재 표현의 표현력이 향상되는가?
• RQ3 리만 계량 텐서 정규화를 통해 레이블이 없는 데이터 조건에서도 계산 효율적이고 정확한 유사도 측도를 도출할 수 있는가?
• RQ4 제안된 비지도 방법의 성능은 실시간 추적에서 감독 학습 기반 최신 기술과 비교해 어떻게 되는가?
• RQ5 표준 VAE 및 베이스라인 추적기 대비 평탄한 다양체 제약 조건이 다중 객체 추적에서 ID 전환 수를 얼마나 줄이는가?

주요 결과

• 제안된 VHP-FMVAE-SORT 방법은 베이스라인 SORT 대비 ID 전환 수를 2.48배 감소시켜 감독 학습 기반 DeepSORT의 성능에 근접한다.
• VHP-FMVAE-SORT 모델은 MOT16 데이터셋에서 MOTA 59.7과 MOTAL 59.7을 기록하여 감독 학습 기반 DeepSORT의 MOTA 60.8에 근접한다.
• 감독 학습 기반 DeepSORT보다 ID 전환 수를 2.2% 더 줄여, 강력한 비지도 일반화 능력을 보여준다.
• 평탄한 잠재 다양체는 k-d 트리 기반의 근접 이웃 검색을 효율적으로 지원하여 실시간 응용 가능.
• 계량 텐서 정규화 없이 구현된 VHP-VAE-SORT보다 성능이 뛰어나, 평탄함 제약 조건의 중요성을 입증.
• 시각적 예시에서 다른 방법들이 실패하는 경우에도 VHP-FMVAE-SORT는 가림된 트랙을 정확히 재식별하여, 가림과 겹침에 대한 강건성을 입증.