[논문 리뷰] Deep Manifold Computing and Visualization

Stan Z. Li, Zelin Zang외 1명|arXiv (Cornell University)|2020. 10. 28.

3D Shape Modeling and Analysis인용 수 2

한 줄 요약

이 논문은 비선형 다양체에서 국소 기하학을 유지하기 위해 비선형 유사도 및 활성화 함수를 통해 계층 간 거리 일관성을 강제하는 새로운 딥러닝 방법인 유연한 국소 등거리 부드러움(ELIS)을 제안한다. ELIS는 비선형 차원 축소, 시각화, 다양체 데이터 생성에서 UMAP, t-SNE 및 최신 자동에코더보다 뛰어난 성능을 보인다.

ABSTRACT

The ability to preserve local geometry of highly nonlinear manifolds in high dimensional spaces and properly unfold them into lower dimensional hyperplanes is the key to the success of manifold computing, nonlinear dimensionality reduction (NLDR) and visualization. This paper proposes a novel method, called elastic locally isometric smoothness (ELIS), to empower deep neural networks with such an ability. ELIS requires that a desired metric between points should be preserved across layers in order to preserve local geometry; such a smoothness constraint effectively regularizes vector-based transformations to become well-behaved local metric-preserving homeomorphisms. Moreover, ELIS requires that the smoothness should be imposed in a way to render sufficient flexibility for tackling complicated nonlinearity and non-Euclideanity; this is achieved layer-wisely via nonlinearity in both the similarity and activation functions. The ELIS method incorporates a class of suitable nonlinear similarity functions into a two-way divergence loss and uses hyperparameter continuation in finding optimal solutions. Extensive experiments, comparisons, and ablation study demonstrate that ELIS can deliver results not only superior to UMAP and t-SNE for and visualization but also better than other leading counterparts of manifold and autoencoder learning for NLDR and manifold data generation.

연구 동기 및 목표

• 높은 비선형성과 고차원성을 띤 다양체를 저차원 공간으로 펼칠 때 국소 기하학적 구조를 유지하는 데 도전하는 문제를 해결하기 위해.
• 네트워크 계층 간에 잘 조율되고 국소 거리 유지가 보장되는 변환을 보장하는 딥러닝 프레임워크를 개발하기 위해.
• 다양체 데이터의 복잡한 비선형성과 비유클리드 구조를 모델링하는 데 있어 유연성을 향상시키기 위해.
• UMAP와 t-SNE와 같은 기존 방법을 초월해 비선형 차원 축소(NLDR), 시각화, 다양체 데이터 생성에서 성능을 향상시키기 위해.

제안 방법

• ELIS는 입력 공간의 점 간 거리가 잠재 공간에서도 유지되도록 하여 계층 간 거리 유지 조건을 강제함으로써 국소 기하학을 보존한다.
• 두 방향 분산 손실을 사용하여 변환을 정규화함으로써 계층 간 부드럽고 가역적이며 국소 등거리 매핑을 촉진한다.
• 비선형 유사도 함수를 손실에 통합하여 데이터 내 복잡한 비유클리드 관계를 모델링한다.
• 비선형 활성화 함수를 계층별로 적용하여 복잡한 다양체 구조를 다룰 수 있는 충분한 표현력을 확보한다.
• 초기화 조정 기법을 사용하여 손실를 효율적으로 최적화하고 안정적이며 고품질의 해를 찾는다.
• 딥 네ural 네트워크에 통합하여 다양체 구조의 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 고차원 비선형 다양체를 저차원 공간으로 매핑할 때 딥러닝 프레임워크가 국소 기하학적 구조를 효과적으로 유지할 수 있는가?
• RQ2 딥 네트워크의 다수 계층 간에 부드럽고 국소 등거리이며 가역적인 변환을 어떻게 강제할 수 있는가?
• RQ3 비선형 유사도 및 활성화 함수는 복잡한 비유클리드 다양체 구조의 모델링에 얼마나 기여하는가?
• RQ4 제안된 ELIS 방법이 벤치마크 데이터셋에서 UMAP와 t-SNE보다 시각화 및 NLDR 작업에서 뛰어난 성능을 보일 수 있는가?
• RQ5 ELIS는 고품질의 다양체 데이터를 생성하고 자동에코더 기반 다양체 학습에서 뛰어난 성능을 달성할 수 있는가?

주요 결과

• ELIS는 국소 이웃 구조를 유지하는 데 특히 유리하여 UMAP와 t-SNE에 비해 훨씬 뛰어난 시각화 품질을 달성한다.
• 복잡하고 고차원적인 데이터셋에서 최신 자동에코더보다 비선형 차원 축소 작업에서 뛰어난 성능을 보인다.
• ELIS는 다양체 데이터 생성에서 뛰어난 성능을 보이며 현실적이고 구조적으로 일관된 잠재 표현을 생성한다.
• 절단 실험을 통해 두 방향 분산 손실과 비선형 유사도 함수가 최적 성능을 내기 위해 필수적임을 확인한다.
• 초기화 조정 기법을 통해 안정적이고 효율적인 최적화가 가능해 일관되고 고품질의 다양체 임베딩을 도출할 수 있었다.
• 비선형성의 계층별 적용은 복잡한 비유클리드 및 고도로 비선형적인 다양체를 효과적으로 모델링할 수 있는 민첩성을 향상시킨다.