[논문 리뷰] Hyperbolic Representation Learning: Revisiting and Advancing

Meng‐Lin Yang, Min Zhou외 3명|arXiv (Cornell University)|2023. 06. 15.

Human Motion and Animation인용 수 6

한 줄 요약

이 논문은 계층적 구조를 위한 비용 없는 프록시로 원점까지의 하이퍼볼릭 거리(HDO)를 활용하여 하이퍼볼릭 표현 학습을 향상시키는 모델 및 작업에 관계없는 방법인 하이퍼볼릭 인formed 임베딩(HIE)을 제안한다. HIE는 루트 노드를 원점에 정렬하고 계층 수준에 따라 스트레칭을 적용함으로써 기존 모델을 향상시켜, 하류 작업에서 최대 21.4%의 정확도 향상을 달성한다.

ABSTRACT

The non-Euclidean geometry of hyperbolic spaces has recently garnered considerable attention in the realm of representation learning. Current endeavors in hyperbolic representation largely presuppose that the underlying hierarchies can be automatically inferred and preserved through the adaptive optimization process. This assumption, however, is questionable and requires further validation. In this work, we first introduce a position-tracking mechanism to scrutinize existing prevalent \hlms, revealing that the learned representations are sub-optimal and unsatisfactory. To address this, we propose a simple yet effective method, hyperbolic informed embedding (HIE), by incorporating cost-free hierarchical information deduced from the hyperbolic distance of the node to origin (i.e., induced hyperbolic norm) to advance existing \hlms. The proposed method HIE is both task-agnostic and model-agnostic, enabling its seamless integration with a broad spectrum of models and tasks. Extensive experiments across various models and different tasks demonstrate the versatility and adaptability of the proposed method. Remarkably, our method achieves a remarkable improvement of up to 21.4\% compared to the competing baselines.

연구 동기 및 목표

• 현재 하이퍼볼릭 모델이 학습된 표현에서 계층적 구조를 효과적으로 유지하는지 조사하기 위해.
• 기존 하이퍼볼릭 모델에서 루트 및 리프 노드의 위치가 잘못 설정되어 계층적 위치를 제대로 반영하지 못하는 문제점을 규명하기 위해.
• 모델 아키텍처를 수정하지 않고도 계층적 학습을 향상시키는 경량이며 일반화 가능한 방법을 개발하기 위해.
• 데이터 내 임베딩의 내재된 계층적 깊이를 프록시로 사용하는 하이퍼볼릭 거리에서 원점(HDO)의 효과성을 검증하기 위해.

제안 방법

• 학습된 임베딩의 공간 분포를 분석하기 위해 위치 추적 메커니즘을 도입하여, 비최적의 노드 위치가 관찰됨을 확인한다.
• 하이퍼볼릭 인formed 임베딩(HIE)을 제안하며, 이는 두 단계로 구성된다: HDO 최소화를 통한 루트 정렬 및 계층 수준에 따라 스트레칭하는 방법.
• 원점까지의 하이퍼볼릭 노름(거리)을 계층 깊이의 비용 없는 지표로 사용하여, 자동으로 루트 및 리프 노드를 식별할 수 있도록 한다.
• HIE를 사후 처리 또는 학습 시 정규화 단계로 적용하여, 어떤 하이퍼볼릭 모델이나 작업과도 호환되며, 추가 파rameter나 아키텍처 변경 없이 적용된다.
• 기하학적 기반으로 푸앵카레 볼 모델을 사용하며, 여기서 원점은 루트를 나타내고, 노름이 증가할수록 더 깊은 계층 수준을 의미한다.
• HGCN, HNN 및 하이퍼볼릭 GNN과 같은 기존 모델에 HIE를 원활하게 통합하여, 파rameter나 아키텍처 변경 없이 적용 가능하다.

Figure 1: Illustration of an optimal embedding in hyperbolic space that preserves the local dependencies while maintaining a hierarchical relationships of the entities. Left: A tree-like graph. Right: Hyperbolic embedding of the tree-like graph.

실험 결과

연구 질문

• RQ1 현재 하이퍼볼릭 모델은 학습된 표현에서 데이터의 진정한 계층적 구조를 얼마나 잘 유지하는가?
• RQ2 원점까지의 하이퍼볼릭 거리(HDO)는 하이퍼볼릭 임베딩에서 계층 수준을 식별하는 데 신뢰성 있고 효과적인 프록시로 기능할 수 있는가?
• RQ3 HDO를 통한 루트 정렬 및 수준 인식 스트레칭을 강제 적용하면 다양한 모델과 작업에서 하류 성능이 크게 향상되는가?
• RQ4 루트 노드 식별을 위한 중심성 측정법(예: 차수, 중간성, 가까움)과 비교했을 때 HIE는 어떻게 성능을 내는가?

주요 결과

• 기존 하이퍼볼릭 모델은 루트 및 리프 노드의 위치를 제대로 설정하지 못하며, 학습된 임베딩에서 심각한 정렬 오류가 관찰된다.
• HIE는 다양한 데이터셋과 모델에서 최첨단 기준 대비 최대 21.4% 향상된 성능을 달성한다.
• 제거 실험 결과, 루트 정렬과 수준 인식 스트레칭 둘 다 필수적임을 확인하였으며, 둘 중 하나를 제거하면 성능이 떨어진다.
• HDO 기반의 HC(하이퍼볼릭 거리에서 원점)는 차수, 중간성, 가까움 중심성과 같은 대안 중심성 측정법보다 루트 노드 식별에서 뛰어난 성능을 보이며, 가장 일관된 성과를 기록한다.
• 계층적 특성이 뚜렷하지 않은 저하이퍼볼릭성 데이터셋인 Disease 및 Airport에서도 HIE는 효과적인 성능 향상을 기록한다.
• Cora, Citeseer, Disease, Airport에서의 노드 분류 작업 전반에 걸쳐 HIE는 일관된 성능 향상을 이끌어내었으며, Citeseer에서 8.8% 향상되고 Cora에서 9.0% 향상되었다.

Figure 3: Illustration of the basic idea of HIE, which can be decomposed into two critical steps: root alignment and level-aware stretching.