[논문 리뷰] A Geometric Perspective on Autoencoders

Yonghyeon Lee|arXiv (Cornell University)|2023. 09. 15.

Generative Adversarial Networks and Image SynthesisComputer Science인용 수 3

한 줄 요약

이 논문은 오토인코더의 기하학적 프레임워크를 제시하며, 만만드 학습의 부적절한 성질로 인해 일반 오토인코더가 자주 잘못된 만만드와 왜곡된 잠복 공간을 학습한다는 것을 드러낸다. 이를 해결하기 위해 자코비안 기반 왜곡 최소화를 통한 등거리 정규화를 도입함으로써 기하학적 성질을 유지하는 표현을 얻었으며, 이는 실험을 통해 만만드 재구성과 잠복 공간의 충실도에서 확인되었다.

ABSTRACT

This paper presents the geometric aspect of the autoencoder framework, which, despite its importance, has been relatively less recognized. Given a set of high-dimensional data points that approximately lie on some lower-dimensional manifold, an autoencoder learns the extit{manifold} and its extit{coordinate chart}, simultaneously. This geometric perspective naturally raises inquiries like "Does a finite set of data points correspond to a single manifold?" or "Is there only one coordinate chart that can represent the manifold?". The responses to these questions are negative, implying that there are multiple solution autoencoders given a dataset. Consequently, they sometimes produce incorrect manifolds with severely distorted latent space representations. In this paper, we introduce recent geometric approaches that address these issues.

연구 동기 및 목표

• 일반 오토인코더의 근본적인 기하학적 결함, 즉 잘못된 만만드와 왜곡된 잠복 공간을 학습한다는 점을 규명하는 것.
• 고차원 데이터로부터 만만드와 그 좌표 차트를 동시에 학습하는 오토인코더 프레임워크를 수학적으로 정식화하는 것.
• 만만드 학습의 부적절한 성질을 해결하기 위해 잠복 공간의 구조적 충실도를 강제하는 기하학적 제약 조건을 도입하는 것.
• 자코비안과 헤시안 정보를 사용하여 디코더의 사상에서 기하학적 왜곡을 최소화하는 실용적이고 미분 가능한 정규화 방법을 개발하는 것.
• 왜곡 최소화가 내재 곡률을 암묵적으로 유지한다는 점을 보여주며, 가우스의 Theorema Egregium와 일치시킨다.

제안 방법

• 디코더 $ f_\theta $ 를 통해 미분 가능한 만만드를 학습하는 것으로 오토인코더를 기하학적으로 재해석하며, 인코더 $ g_\phi $ 는 그 역함수 맵을 제공한다.
• 디코더의 자코비안을 기반으로 한 왜곡 측도를 도입하며, 이는 $ J_{f_\theta}^T H J_{f_\theta} $ 의 제곱 트레이스를 그 트레이스의 제곱으로 나눈 비율로 정의된다. 이는 국소적 기하학적 왜곡을 캡처한다.
• 허치슨의 트레이스 추정기를 사용하여 랜덤 가우시안 벡터 $ v, w $ 를 활용해 왜곡 측도를 효율적으로 근사함으로써 자코비안-벡터 곱을 통한 역전파를 가능하게 한다.
• 인코더의 출력에서 유도된 데이터 기반 확률 측도 $ P $ 를 구성하여 왜곡 추정을 위한 잠복점 샘플링을 수행한다.
• 재구성 손실과 등거리 정규화 항을 하이퍼파rameter $ \alpha $ 를 사용해 조합하여 최종 손실를 구성한다: $ \|x - F_{\theta,\phi}(x)\|^2 + \alpha \cdot \frac{\mathbb{E}_v[v^T (J^T H J)^2 v]}{\mathbb{E}_w[w^T J^T H J w]^2} $.
• 대부분의 실험에서 정규화된 메트릭 $ H = I $ 를 사용하지만, 점 클러스터 만만드에 대해 비트리비얼 메트릭(예: Info-Riemannian 메트릭)의 잠재적 활용 가능성도 논의한다.

실험 결과

연구 질문

• RQ1 오토인코더 프레임워크를 기하학적 관점에서 재해석함으로써, 만만드 학습에서의 한계를 더 잘 이해할 수 있는가?
• RQ2 재구성 오차가 0임에도 불구하고 일반 오토인코더가 왜 자주 올바른 기저 만만드를 학습하지 못하는가?
• RQ3 길이, 각도, 체적의 잘못된 유지와 같은 잠복 공간 내 기하학적 왜곡을 정량적으로 측정하고 최소화할 수 있는가?
• RQ4 기하학적 왜곡 최소화와 학습된 만만드의 내재 곡률 유지 간의 관계는 무엇인가?
• RQ5 환경 메트릭 $ H $ 의 선택이 복원된 만만드의 기하학과 잠복 표현의 품질에 어떤 영향을 미치는가?

주요 결과

• 일반 오토인코더는 무한히 많은 만만드가 훈련 데이터를 완벽히 재구성할 수 있기 때문에, 만만드 학습에 대해 본질적으로 부적절하다. 이는 잘못되거나 과적합된 만만드를 초래한다.
• 제안된 등거리 정규화 오토인코더(IRAe)는 정성적 비교를 통해 잠복 공간 내 기하학적 왜곡을 크게 줄였으며, 표준 오토인코더가 왜곡되는 데 반해 IRAE는 형태와 간격을 유지함을 보여준다.
• 디코더의 자코비안과 헤시안을 기반으로 한 왜곡 측도는 내재 곡률을 암묵적으로 최소화하는 효과적인 정규화를 가능하게 하며, 가우스의 Theorema Egregium와 일치한다.
• 허치슨의 트레이스 추정기를 사용함으로써 자코비안-벡터 곱을 통한 왜곡 측도의 효율적 계산이 가능해져 깊은 신경망에까지 확장 가능한 방법이 되었다.
• 실험 결과, IRAE는 복잡한 만만드(예: $ \mathbb{R}^3 $ 내에 구멍이 있는 사각형 표면)에서도 기하학적 양상(거리, 각도 등)을 유지하는 잠복 공간을 생성함을 보였다.
• 이 방법은 등거리 정규화가 내재 곡률이 0인 진정한 만만드의 경우에 특히 더 충실하고 해석 가능한 표현을 만들어낸다는 점을 보여주었다.