[논문 리뷰] Loss Landscapes of Regularized Linear Autoencoders

Daniel Kunin, Jonathan M. Bloom외 2명|arXiv (Cornell University)|2019. 01. 23.

Model Reduction and Neural Networks참고 문헌 32인용 수 22

한 줄 요약

이 논문은 $L_2$-정규화된 선형 오토인코더(LAE)가 복구된 디코더의 왼쪽 특이벡터로 주성분을 학습하며, 비정규화된 LAE의 대칭성을 깨뜨리고 주성분 방향을 복원할 수 있음을 증명한다. 정규화는 대칭군을 $\mathrm{GL}_k(\mathbb{R})$에서 $\mathrm{O}_k(\mathbb{R})$로 감소시켜, 모든 임계점에서 인코더와 디코더가 서로 전치 관계임을 보장하고, 최소값을 확률적 PCA의 MAP 추정치와 연결한다.

ABSTRACT

Autoencoders are a deep learning model for representation learning. When trained to minimize the distance between the data and its reconstruction, linear autoencoders (LAEs) learn the subspace spanned by the top principal directions but cannot learn the principal directions themselves. In this paper, we prove that $L_2$-regularized LAEs are symmetric at all critical points and learn the principal directions as the left singular vectors of the decoder. We smoothly parameterize the critical manifold and relate the minima to the MAP estimate of probabilistic PCA. We illustrate these results empirically and consider implications for PCA algorithms, computational neuroscience, and the algebraic topology of learning.

연구 동기 및 목표

• 비정규화된 경우에 대칭성이 존재함에도 불구하고 $L_2$-정규화된 LAE가 주성분 방향을 어떻게 복원하는지 밝히는 것.
• 선형대수학과 위상수학을 활용해 정규화된 LAE의 임계점과 손실 곡면을 특성화하는 것.
• 정규화된 손실의 최소값과 확률적 PCA에서의 MAP 추정치 사이의 연결 고리를 설정하는 것.
• PCA 알고리즘, 계산 신경과학, 딥러닝의代수적 위상수학에 대한 영향을 탐색하는 것.

제안 방법

• 스칼라 및 행렬 형태의 LAE를 정규화 유무에 따라 분석하여 대칭성 붕괴를 드러내는 것.
• 특이값 분해(SVD)를 사용해 임계점에서 디코더의 왼쪽 특이벡터가 주성분 방향에 해당함을 보이는 것.
• 정규화된 손실 $\mathcal{L}_\sigma$의 모든 임계점에서 인코더와 디코더가 서로 전치 관계임을 증명하는 것.
• 손실 곡면을 $\mathrm{Gr}_k(\mathbb{R}^m)$ 위의 함수로 모델링하여, Schubert 세포 분해를 가진 완벽한 모어 함수임을 보이는 것.
• 모어 이론과 모어 호모로지를 적용해 기하학적 방법으로 수축 가능한 사슬 복합체 내에서 임계점이 상쇄됨을 보이는 것.
• 가우시안 사전분포 하에서 정규화된 LAE가 확률적 PCA의 전역 최소값과 정확히 일치함을 보여, 이를 통해 두 모델 간의 연결 고리를 확립하는 것.

실험 결과

연구 질문

• RQ1 $L_2$-정규화는 비정규화된 LAE의 $\mathrm{GL}_k(\mathbb{R})$ 대칭성을 어떻게 깨뜨려 주성분 방향 복원을 가능하게 하는가?
• RQ2 정규화된 LAE의 임계점과 손실 곡면의 기하학적·대수적 구조는 어떠한가?
• RQ3 정규화된 $L_2$ 조건 하에서 임계점에서 인코더와 디코더는 어떻게 관련되어 있는가?
• RQ4 정규화된 LAE 손실의 최소값이 확률적 PCA의 MAP 추정치와 얼마나 일치하는가?
• RQ5 정규화된 LAE의 손실 곡면은 모어 이론과 실수 그라스만만다의 위상수학적 성질과 어떻게 관련되어 있는가?

주요 결과

• $L_2$-정규화된 LAE 손실 $\mathcal{L}_\sigma$는 왼쪽 특이값 분해(SVD)의 구조를 유지하는 옥타드로 치환군 $\mathrm{O}_k(\mathbb{R})$에 대해 대칭이다.
• 모든 $\mathcal{L}_\sigma$의 임계점에서 인코더와 디코더는 서로 전치 관계이다.
• 데이터의 주성분 방향은 디코더 행렬의 왼쪽 특이벡터로 학습된다.
• 손실 $\mathcal{L}_\sigma$의 전역 최소값은 정확히 확률적 PCA에서의 MAP 추정치에 해당한다.
• 실수 $\mathrm{Gr}_k(\mathbb{R}^m)$ 위의 손실 곡면은 완벽한 모어 함수이며, 임계점은 슈베르트 세포로 인덱싱된다.
• 손실 함수의 모어 호모로지는 실수 그라스만만다의 고전적 CW 복합체와 동일한 사슬 복합체를 실현하며, 위상수학적 일致성을 확인한다.