[논문 리뷰] From Principal Subspaces to Principal Components with Linear Autoencoders

Elad Plaut|arXiv (Cornell University)|2018. 04. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 15인용 수 83

한 줄 요약

이 논문은 선형 오토인코더의 가중치에서 PCA 로딩 벡터를 어떻게 회복하는지 보여주고, 선형 오토인코더를 통한 정확한 PCA를 가능하게 하며, 속성, 효율성 및 온라인 적용 가능성에 대해 논의합니다. 또한 첫 번째 m 개의 로딩 벡터가 오토인코더의 가중치 행렬의 첫 번째 m 개 좌측 특이 벡터라는 것을 증명하고 MNIST 및 CUB-200-2011 데이터셋에서 PCA와의 실증적 정렬을 보여줍니다.

ABSTRACT

The autoencoder is an effective unsupervised learning model which is widely used in deep learning. It is well known that an autoencoder with a single fully-connected hidden layer, a linear activation function and a squared error cost function trains weights that span the same subspace as the one spanned by the principal component loading vectors, but that they are not identical to the loading vectors. In this paper, we show how to recover the loading vectors from the autoencoder weights.

연구 동기 및 목표

• PCA를 분산을 최대화하고 재구성 오차를 최소화하는 선형 변환으로 제시한다.
• 선형 오토인코더의 가중치가 주성분 부분공간을 span하지만 로딩 벡터와 같지 않음을 보이고, 가중치에서 로딩 벡터를 회복하는 것을 제안한다.
• 오토인코더 가중치에서 PCA 로딩 벡터를 회복하는 방법을 제안하고 검증하여 고유하고 서로 상관되지 않으며 순서가 매겨진 좌표를 얻게 된다.
• 대규모 고차원 데이터세트와 온라인 학습 시나리오에서 이 접근법의 실용성을 시연한다.

제안 방법

• 중심화된 데이터를 통해 PCA를 형식화하고 로딩 벡터를 중심화된 공분산 행렬의 고유 벡터로 정의한다.
• 단일 은닉층과 제곱 오차 손실을 갖는 선형 오토인코더가 주성분 부분공간으로의 투영에 상응하는 가중치 최적화 문제로 이어진다.
• 로딩 벡터는 오토인코더의 가중치 행렬 W2의 왼쪽 특이 벡터를 취함으로써 회복될 수 있음을 증명한다(W1은 W2의 의사역으로).
• 회복된 로딩 벡터가 변환된 좌표에서 대각 공분산을 유도하여 PCA 특성과 일치함을 보인다(정렬된 분산, 상관 제거).
• 온라인 학습에 대한 적합성 및 표준 PCA에 비한 이점(데이터 중심화 필요 없음 포함)과 대규모 데이터와의 호환성에 대해 논의한다.

실험 결과

연구 질문

• RQ1 PCA의 로딩 벡터를 선형 오토인코더의 가중치에서 회복할 수 있는가?
• RQ2 회수된 로딩 집합이 고유하며 차원 축소에 걸쳐 PCA 특성(상관 제거, 정렬, 중첩)을 보존하는가?
• RQ3 표준 최적화 알고리즘과 정규화를 사용하여 선형 오토인코더를 훈련시키면 가중치에서 로딩 벡터를 회복할 때 PCA와 동등한 결과가 나오는가?
• RQ4 이 접근법이 고차원, 대규모 데이터세트와 온라인 학습 설정에서 어떻게 수행되는가?

주요 결과

• Y의 처음 m개의 로딩 벡터는 W2의 처음 m개 좌측 특이 벡터와 일치한다(의사역을 통해 W1과 동등하게).
• 로딩 벡터를 오토인코더 가중치에서 회복하면 고유하고 서로 상관되지 않으며 분산이 순서대로 정렬된 좌표계와 서로 다른 목표 차원에 대한 중첩된 해가 얻어진다.
• MNIST에 대한 실험 결과 W2의 좌측 특이 벡터가 부호와 무관하게 PCA 로딩 벡터에 근접한 것을 보이고, 변환된 좌표의 공분산은 대각선을 가지며 대각 원소가 내림차순으로 된다.
• CUB-200-2011 같은 대규모 고차원 데이터셋에서 W2에서 PCA 로딩 벡터를 회복할 수 있으며, 변환 공간에서 대략 대각 공분산을 달성하여 확장성을 검증한다.