[논문 리뷰] HoroPCA: Hyperbolic Dimensionality Reduction via Horospherical Projections

Ines Chami, Albert Gu외 2명|arXiv (Cornell University)|2021. 06. 06.

Image and Signal Denoising Methods인용 수 5

한 줄 요약

HoroPCA는 원추형 투영을 활용하여 주성분 분석(PCA)을 쌍곡공간으로 일반화하는 새로운 쌍곡차원 축소 방법을 제안한다. 이는 이전 방법들보다 주성분 방향을 따라 거리와 정보를 더 정확히 유지하며, 평균 왜곡이 0.078에 불과한 등급의 낮은 왜곡을 달성하고, 효과적인 데이터 화이트닝을 통해 하류 분류 성능을 최대 3.9% 향상시킨다.

ABSTRACT

This paper studies Principal Component Analysis (PCA) for data lying in hyperbolic spaces. Given directions, PCA relies on: (1) a parameterization of subspaces spanned by these directions, (2) a method of projection onto subspaces that preserves information in these directions, and (3) an objective to optimize, namely the variance explained by projections. We generalize each of these concepts to the hyperbolic space and propose HoroPCA, a method for hyperbolic dimensionality reduction. By focusing on the core problem of extracting principal directions, HoroPCA theoretically better preserves information in the original data such as distances, compared to previous generalizations of PCA. Empirically, we validate that HoroPCA outperforms existing dimensionality reduction methods, significantly reducing error in distance preservation. As a data whitening method, it improves downstream classification by up to 3.9% compared to methods that don't use whitening. Finally, we show that HoroPCA can be used to visualize hyperbolic data in two dimensions.

연구 동기 및 목표

• 기하학적 제약으로 인해 기존 유클리드 PCA가 실패하는 쌍곡공간으로 주성분 분석(PCA)을 일반화하는 것.
• 지오데식 투영과 기저점 의존성에 기반한 기존 쌍곡차원 축소 방법의 불안정성과 정보 손실 문제를 해결하는 것.
• 내재된 쌍곡거리와 주성분 방향을 따라 분산을 유지하는 방법을 개발하여 위치 불변성과 정보 유지 투영을 보장하는 것.
• 계층적 데이터의 저차원 쌍곡공간에서 효과적인 데이터 화이트닝과 시각화를 가능하게 하는 것.
• 기존의 PGA 및 BSA와 같은 쌍곡기하학에서의 PCA 일반화 방법에 대해 이론적으로 타당하고 계산적으로 효율적인 대안을 제공하는 것.

제안 방법

• 이deal 점(무한원점)을 사용하여 쌍곡부공간을 매개변수화함으로써, 유클리드 PCA와 유사한 중첩된 아핀부공간(플래그)의 순서를 가능하게 한다.
• 이deal 점까지의 거리를 유지하고, 투영된 점들 사이의 등장관계를 유지하는 새로운 투영 메커니즘인 원추형 투영을 도입한다.
• 쌍곡공간에서 수직보조의 일반화인 원추면을 사용하여 보완 방향을 정의하고, 파oincaré 구내에서 K개의 원추면의 교차를 통해 투영을 계산한다.
• 프레셰 분산을 사용하여 계산된 거리 기반의 설명된 분산 메트릭을 쌍곡공간에 적용하여 주성분 선택을 최적화한다.
• 고차원 교차를 명시적으로 해결하지 않고도 초구 위에서 반복적인 기하 연산을 수행함으로써, 쌍곡면과 파oincaré 구 모델 모두에서 알고리즘을 효율적으로 구현한다.
• 실제 및 시뮬레이션된 쌍곡데이터, 특히 WordNet의 파oincaré 임베딩과 PyTorch 임베딩을 대상으로 차원 축소 및 시각화를 위해 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 지오데식 투영보다 주성분 방향을 따라 거리와 정보를 더 효과적으로 유지할 수 있는 쌍곡기하학에서의 PCA 일반화를 구성할 수 있는가?
• RQ2 기저점의 선택이 기존 쌍곡PCA 방법의 안정성과 성능에 미치는 영향은 무엇이며, 이러한 의존성은 제거될 수 있는가?
• RQ3 저차원 및 고차원 쌍곡공간에서 원추형 투영은 지오데식 투영에 비해 쌍곡거리 유지 능력이 얼마나 향상되는가?
• RQ4 HoroPCA는 PGA, BSA, hMDS 및 오토에인코더와 같은 기존 방법들보다 거리 구조 유지 능력에서 뛰어나게 성능을 발휘하는가?
• RQ5 HoroPCA는 쌍곡임베딩의 하류 분류 정확도 향상에 효과적인 데이터 화이트닝 기법으로 기능할 수 있는가?

주요 결과

• HoroPCA는 질병 및 CS 박사학위 데이터셋의 50차원 PyTorch 임베딩에서 평균 왜곡을 0.078로 감소시켜 PGA(0.534) 및 BSA(0.532)보다 뚜렷이 뛰어난 성능을 보였다.
• 시뮬레이션 데이터에서 원추형 투영은 지오데식 투영보다 상당히 낮은 평균 왜곡을 기록하여, 더 뛰어난 거리 유지 능력을 확인했다.
• 비화이트닝 방법 대비 최대 3.9% 향상된 하류 분류 정확도를 기록하여, 효과적인 데이터 화이트닝 기법임을 입증했다.
• WordNet의 육상동물 하위트리 임베딩에서 볼 수 있듯이, HoroPCA는 두 차원에서의 효과적인 시각화를 가능하게 하여 계층적 구조를 유지한다.
• HoroPCA는 위치 불변성을 유지한다: 기저점 의존성이 없는 지오데식 기반 방법과 달리, 수직 방향으로의 이동에 대해 불변이다.
• 알고리즘은 계산적으로 효율적이며, 파oincaré 구 모델에서 초구의 반복적 교차를 통해 원추형 투영을 계산함으로써 고차원 교차를 명시적으로 해결하지 않아도 된다.