[논문 리뷰] Autoencoding topology

Eric O. Korman|arXiv (Cornell University)|2018. 03. 01.

Topological and Geometric Data Analysis참고 문헌 5인용 수 7

한 줄 요약

이 논문은 적대적 오토에인코더를 사용하여 2-워샤르슈타인 손실 기반의 워샤르슈타인 GAN을 적용해 애트라스의 차트를 생성하도록 훈련하는 딥러닝 프레임워크를 제안한다. 이 방법은 동시에 차원 축소와 흐린 클러스터링을 수행하며, 겹치는 차트의 체흐 네비를 통해 호모로지와 같은 위상적 불변량을 복원할 수 있다. 이는 합성 다양체와 MNIST에서 선형 및 비선형 인코더를 모두 사용하여 검증되었다.

ABSTRACT

The problem of learning a manifold structure on a dataset is framed in terms of a generative model, to which we use ideas behind autoencoders (namely adversarial/Wasserstein autoencoders) to fit deep neural networks. From a machine learning perspective, the resulting structure, an atlas of a manifold, may be viewed as a combination of dimensionality reduction and "fuzzy" clustering.

연구 동기 및 목표

• 독립 동일분포 표본으로부터 다양체의 애트라스를 학습하는 딥러닝 방법을 개발함으로써, 애트라스를 생성 모델로 간주한다.
• 겹치는 차트로부터 체흐 네비를 구성하여 데이터로부터 위상적 추론을 가능하게 하여, 애트라스가 좋은 커버를 이룰 경우 호모토피 유형을 복원할 수 있도록 한다.
• 확률적 인코더와 디코더를 사용하여 단일 차트(차원 축소)와 비겹치는 차트(클러스터링)를 하나의 미분 가능한 프레임워크 안에서 통합한다.
• 데이터 복원과 합성 데이터 생성을 모두 지원하는 안정적이고 미분 가능한 비지도 표현 학습 방법을 제공한다.

제안 방법

• 이 방법은 다양체를 잠재 공간 Z×{1,…,k}를 가진 생성 모델로 모델링하며, 여기서 k는 차트의 수이며, 잠재 변수에 대해 균일한 사전을 사용한다.
• 데이터 분포와 디코더가 생성한 분포 사이의 2-워샤르슈타인 거리를 최소화하기 위해 워샤르슈타인 GAN 기반의 페널티를 사용하는 적대적 오토에인코더(AAE)를 적용한다.
• 각 데이터 포인트를 차트와 그 잠재 표현에 할당하기 위해 인코더 네트워크 q(Z|J,X)와 차트 소속 네트워크 q(J|X)를 훈련하며, 학습된 역함수 맵 ψj를 통해 결정론적 추론을 수행한다.
• 차트 간 겹침은 사후 확률 간 제닝스-셜론 분산과 기대 사후 확률에서 유도된 오버랩 측도 u_j0j1를 통해 측정된다.
• 오버랩 스코어 u_j0…jℓ를 임계값 ε로 스위칭하여 심플로이드 복합체를 구성하고, ε를 변화시키면서 그 호모로지를 분석함으로써 영구 호모로지와 유사한 방식으로 작동한다.
• 시각화 및 분석을 위해 각 차트의 디코더에서 이미지를 생성하고, 오버랩 정도에 비례한 두께를 가진 선을 겹치는 차트 간에 그린다.

실험 결과

연구 질문

• RQ1 딥 네트워크는 독립 동일분포 표본으로부터 다양체의 애트라스를 생성 모델로 간주함으로써 학습할 수 있는가?
• RQ2 체흐 네비 구성 방식을 통해 추론된 애트라스로부터 다양체의 위상적 구조—특히 호모토피 유형—을 얼마나 정확히 복원할 수 있는가?
• RQ3 선형 인코더와 비선형 인코더의 선택이 좋은 위상적 근사치를 달성하기 위해 필요한 차트 수에 어떤 영향을 미치는가?
• RQ4 제안된 방법은 미분 가능하고 생성 가능한 프레임워크 안에서 동시에 차원 축소와 흐린 클러스터링을 수행할 수 있는가?
• RQ5 오버랩 임계값 ε와 오버랩 추정 방법의 변동에 대해 위상적 추론(예: 호모로지 복원)은 얼마나 강인한가?

주요 결과

• 실수 사영 평면 ℝP²가 ℝ⁴에 임bedded된 경우, 첫 번째 호모로지 군 H₁(ℝP²; ℤ) ≅ ℤ/2를 성공적으로 복원하였으며, ε 값에 관계없이 이론적 기대와 일치하는 호모로지 패턴을 보였다.
• MNIST에 대해선 비선형 인코더가 15개의 차트로만 좋은 복원 및 생성 품질을 달성한 반면, 선형 인코더는 40–120개의 차트가 필요하여 비선형성의 위상적 효율성이 높음을 시사했다.
• 오버랩 스코어 u_j0j1를 사용한 체흐 네비 구성은 위상적 특징을 성공적으로 포착하였다: logε = -5일 때, 1-스켈레톤은 H₁ ≅ ℤ/2 (파랑)와 H₁ ≅ ℤ^factor (빨강)를 보였으며, 기저 공간의 위상과 일치하였다.
• 기대 사후 확률에서 유도된 오버랩 측도(u_j0j1)는 차트의 교차를 안정적이고 미분 가능한 대체 측도로 제공하여 안정적인 심플로이드 복합체 구성이 가능했다.
• 1-스켈레톤의 시각화 결과는 의미 있는 차트 오버랩 패턴을 드러내었으며, 두께가 두꺼운 선은 높은 오버랩을 의미했다. 또한 각 차트의 디코더에서 생성된 이미지는 일관되고 해석 가능한 숫자 구조를 보였다.
• 이 프레임워크는 복원과 생성 모두 지원한다: 그림 5와 6에서 보듯이 복원 결과는 정확했으며, 잠재 변수에서 생성된 이미지도 특히 비선형 인코더를 사용할 경우 현실적으로 보였다.