[논문 리뷰] Isometric Autoencoders

Amos Gropp, Matan Atzmon외 1명|arXiv (Cornell University)|2020. 06. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 29인용 수 10

한 줄 요약

이 논문은 디코더가 국소적으로 등장성(거리 유지)이 되고 에너드가 직교 투영을 통해 그의 가짜 역행렬 역할을 하도록 강제하는 정규화된 오토인코더 프레임워크인 등장성 오토인코더(I-AE)를 소개한다. 이 방법은 표준 오토인코더 및 CAE, UMAP, t-SNE와 같은 기준보다 더 균일하게 분포된, 기하학적으로 정확한 저차원 표현을 생성하며, 특히 점 간 거리 유지와 원점 근처의 뭉치 현상 방지 측면에서 뛰어나다.

ABSTRACT

High dimensional data is often assumed to be concentrated on or near a low-dimensional manifold. Autoencoders (AE) is a popular technique to learn representations of such data by pushing it through a neural network with a low dimension bottleneck while minimizing a reconstruction error. Using high capacity AE often leads to a large collection of minimizers, many of which represent a low dimensional manifold that fits the data well but generalizes poorly. Two sources of bad generalization are: extrinsic, where the learned manifold possesses extraneous parts that are far from the data; and intrinsic, where the encoder and decoder introduce arbitrary distortion in the low dimensional parameterization. An approach taken to alleviate these issues is to add a regularizer that favors a particular solution; common regularizers promote sparsity, small derivatives, or robustness to noise. In this paper, we advocate an isometry (i.e., local distance preserving) regularizer. Specifically, our regularizer encourages: (i) the decoder to be an isometry; and (ii) the encoder to be the decoder's pseudo-inverse, that is, the encoder extends the inverse of the decoder to the ambient space by orthogonal projection. In a nutshell, (i) and (ii) fix both intrinsic and extrinsic degrees of freedom and provide a non-linear generalization to principal component analysis (PCA). Experimenting with the isometry regularizer on dimensionality reduction tasks produces useful low-dimensional data representations.

연구 동기 및 목표

• 학습된 저차원 다양체에서 외재적 및 내재적 왜곡을 제거하여 오토인코더의 일반화 성능을 향상시키기 위해.
• 디코더에서 등장성 강제 및 에너드에서 가짜 역행렬 행동을 통해 다양체 학습을 향상시키기 위해.
• 국소적 거리 유지 및 노이즈 또는 허위 구조에 대한 과적합 방지를 보장하는 비선형 PCA의 일반화를 제공하기 위해.
• 등장성 정규화가 차원 축소 작업에서 더 균일하고 기하학적으로 정확한 데이터 표현을 이끌어내는지 입증하기 위해.

제안 방법

• 이 방법은 디코더의 자코비안이 등장성임을 강제하는 정규화자를 도입한다. 즉, $\mathbf{A}^T\mathbf{A} = \mathbf{I}_d$이며, 국소적 거리 유지 보장을 보장한다.
• 에너드는 디코더의 가짜 역행렬이 되도록 제약을 받으며, 이는 자코비안 $\mathbf{B}$ 가 $\mathbf{B} = \mathbf{A}^+$ 를 만족함을 의미한다. 등장성 조건 하에서는 이 식은 $\mathbf{B} = \mathbf{A}^T$ 로 단순화된다.
• 손실 함수는 표준 재구성 손실과 두 가지 정규화 항을 조합한다. 하나는 디코더의 등장성에서의 이탈을 방지하는 항이며, 다른 하나는 에너드-디코더 간의 가짜 역행렬 관계를 강제하는 항이다.
• 정규화는 계층 수준의 미분을 통해 구현되며, 표준 딥러닝 프레임워크 및 backpropagation와 호환된다.
• 이 방법은 MNIST, Fashion-MNIST, COIL20 데이터셋에 대해 완전히 연결된 구조와 컨볼루션 오토인코더 아키텍처에 모두 적용된다.
• $\lambda_{\text{iso}}$ 에 대한 초모수 민감도 분석을 수행하였으며, $\lambda_{\text{iso}} \geq 0.75$ 일 때만 급격한 변화가 발생하고, 그 외에는 안정적인 성능을 보였다.

실험 결과

연구 질문

• RQ1 디코더에서 등장성 강제 및 에너드에서 가짜 역행렬 행동을 강제하면 오토인코더 기반 차원 축소에서 더 나은 일반화 성능을 얻을 수 있는가?
• RQ2 I-AE는 표준 오토인코더 및 UMAP, t-SNE와 같은 다른 다양체 학습 방법과 비교해 점 간 거리 유지 및 데이터 뭉치 현상 방지를 얼마나 잘 수행하는가?
• RQ3 비등장성 기반 기준 대비 등장성 정규화가 학습된 저차원 다각체의 기하학적 정확도를 얼마나 향상시키는가?
• RQ4 등장성 정규화 강도를 제어하는 초모수에 대해 I-AE의 성능는 얼마나 민감한가?
• RQ5 I-AE 프레임워크는 특히 회전 또는 대칭 패턴을 가진 구조적 데이터에서 더 균일하고 단사적인 표현을 생성하는가?

주요 결과

• I-AE는 CAE와 보편적 오토인코더에서 관찰되는 원점 근처의 점 뭉치 현상을 피하며, 표준 오토인코더보다 더 균일하게 분포된 임베딩을 생성한다.
• COIL20 데이터셋에서 I-AE는 72도의 회전 간격을 정확히 유지하는 등 거리 간격을 잘 보존하지만, UMAP는 여러 클래스를 동일한 영역에 매핑하고 t-SNE는 점 간 거리를 왜곡한다.
• I-AE는 $\lambda_{\text{iso}}$ 값이 0.01에서 0.5 사이일 때 안정적인 성능을 보이며, $\lambda_{\text{iso}} = 0.75$ 이상일 때만 급격한 성능 저하가 발생한다.
• 재구성 손실($L_{\text{rec}}$)은 $\lambda_{\text{iso}}$ 증가에 따라 점진적으로 증가하지만, 안정적이고 예측 가능하므로 치명적인 상충 관계가 발생하지 않는다.
• 등장성 손실($L_{\text{iso}}$)과 가짜 등장성 손실($L_{\text{piso}}$)은 $\lambda_{\text{iso}}$ 가 0에서 증가함에 따라 빠르게 안정화되며, 효과적인 정규화가 이루어지고 있음을 확인한다.
• 클러스터 분리도가 더 뛰어난 UMAP와 t-SNE에 비해 I-AE는 기하학적 구조를 더 잘 유지함을 입증하며, 클러스터 분리도와 기하학적 정확도 사이의 상충 관계를 보여준다.