[논문 리뷰] Symmetric Spaces for Graph Embeddings: A Finsler-Riemannian Approach

Federico López, Beatrice Pozzetti외 3명|arXiv (Cornell University)|2021. 06. 09.

Epigenetics and DNA Methylation인용 수 2

한 줄 요약

이 논문은 대칭 공간—특히 시겔 공간—을 사용하는 새로운 그래프 임bedding 프레임워크를 제안한다. 이는 리만 최적화 기반의 펄스러운 거리 척도와 결합된다. 대칭 공간의 풍부한 기하학적 구조를 활용하여, 트리와 격자와 같은 이질적인 그래프 특징을 더 잘 포착한다. 이는 인공 및 실세계 데이터셋에서 그래프 복원, 노드 분류, 추천 시스템 등에서 유클리드, 쌍곡, 곱공간, SPD 기준선보다 뛰어난 성능을 보인다.

ABSTRACT

Learning faithful graph representations as sets of vertex embeddings has become a fundamental intermediary step in a wide range of machine learning applications. We propose the systematic use of symmetric spaces in representation learning, a class encompassing many of the previously used embedding targets. This enables us to introduce a new method, the use of Finsler metrics integrated in a Riemannian optimization scheme, that better adapts to dissimilar structures in the graph. We develop a tool to analyze the embeddings and infer structural properties of the data sets. For implementation, we choose Siegel spaces, a versatile family of symmetric spaces. Our approach outperforms competitive baselines for graph reconstruction tasks on various synthetic and real-world datasets. We further demonstrate its applicability on two downstream tasks, recommender systems and node classification.

연구 동기 및 목표

• 기존 그래프 임베딩 방법이 균일한 기하학(예: 유클리드 또는 일정 곡률 공간)을 가정하는 데서 비롯되는 한계를 해결한다. 이는 트리와 격자와 같은 혼합된 구조적 특징을 가진 그래프를 포착하지 못한다.
• 다양한 하위구조를 자연스럽게 수용할 수 있는 대칭 공간—리만 다양체의 한 종류로, 풍부한 대칭성과 복합 기하학을 지닌—을 사용한 통합된 그래프 표현 학습 프레임워크를 개발한다.
• 시겔 공간에 대한 펄스 거리 척도를 도입하여 유클리드 부분공간에서 ℓ1 및 ℓ∞ 노름을 유도함으로써, 이질적인 그래프 구성 요소에 대한 보다 유연한 적응을 가능하게 한다.
• 타카기 분해와 카이리 변환을 사용한 자동 미분 가능한 거리 계산을 통해 시겔 공간에서의 리만 최적화를 가능하게 한다.
• 각 노드 쌍에 대해 벡터값 거리 함수 (v1, v2) 를 도입하여 임bedded된 그래프의 기하학적 대칭성과 하위구조 특징을 분석한다.

제안 방법

• 비정규 곡률을 가진 행렬 기반 대칭 공간인 시겔 공간을 임베딩의 기반 다양체로 사용한다. 이는 쌍곡 평면을 일반화하며, SPD 행렬과 쌍곡 평면의 곱공간과 동형인 부분다양체를 포함한다.
• 평탄한 부분공간에서 ℓ1 및 ℓ∞ 노름을 유도하는 시겔 공간 위의 펄스 거리 척도를 사용하여, 다양한 그래프 기하학에 대한 민감한 적응을 가능하게 한다.
• 타카기 분해와 카이리 변환을 이용한 자동 미분 가능한 거리 계산을 유도하여, 대규모 그래프에서의 효율적 리만 최적화를 가능하게 한다.
• 지오데식 거리 기반 복원 손실을 최소화하기 위해 리만 최적화(예: 리만 스토하스틱 경사 하강법)를 적용하여 정점 임베딩을 학습한다.
• 각 노드 쌍에 대해 벡터값 거리 함수 (v1, v2) 를 도입하며, v1과 v2는 펄스 거리 척도의 구성 요소를 나타내며, 그래프의 구조적 특성을 시각화하고 분석하는 데 사용된다.
• 기준 노드에서의 벡터값 거리의 비율 v2/v1 을 기반으로 노드 색상화를 수행하여 누적된 각도 편이를 추론함으로써 그래프 내 대칭성과 계층성을 드러낸다.

실험 결과

연구 질문

• RQ1 대칭 공간은 트리와 같은 계층적 트리와 평평한 격자와 같은 혼합 기하학적 특징을 가진 그래프를 다루는 데 있어 기존의 일정 곡률 또는 곱공간 방법보다 더 나은 통합 기하학적 프레임워크로 기능할 수 있는가?
• RQ2 시겔 공간에서의 펄스 거리 척도는 유클리드 공간의 표준 리만 거리 척도나 ℓp 노름에 비해 그래프 임베딩의 정밀도를 어떻게 향상시키는가?
• RQ3 대칭 공간에서의 벡터값 거리 함수는 임베딩된 그래프에서 대칭성, 계층성, 하위구조 기하학 등의 구조적 특징을 얼마나 잘 드러내는가?
• RQ4 펄스 거리 척도와 리만 최적화의 통합이 그래프 복원, 노드 분류, 추천 시스템과 같은 하류 작업에서 뛰어난 성능을 내는가?
• RQ5 시겔 공간에 펄스 거리 척도를 적용한 방법이 기존 기준선(예: 쌍곡, 유클리드, SPD, 카르테시안 곱공간)보다 복원 정확도와 구조 보존 측면에서 뛰어나게 성능을 내는가?

주요 결과

• 모든 시험한 인공 및 실세계 데이터셋에서 시겔 공간에 펄스 거리 척도를 적용한 방법이 유클리드, 쌍곡, 카르테시안 곱공간, SPD 공간 기준선을 모두 압도한다.
• 5×5 격자 데이터셋에서 펄스 거리 척도(SF∞₂ 및 SF₁₂)는 모서리 각도를 균일하게 유지하여 더 나은 지오데식 구조와 대칭성을 나타내지만, 리만 거리 척도(SR₂)는 왜곡과 일관되지 않은 각도를 보였다.
• TREE × GRID 데이터셋에서 SF₁₃는 평균 정밀도(mAP) 100.00, Davg 2.02±0.02를 기록하여 SR₃(mAP 99.54, Davg 13.26±0.01)와 BF₁₃(mAP 79.21, Davg 1.13±0.03)를 크게 앞섰다.
• TREE × TREE 데이터셋에서 SF₁₃는 mAP 100.00, Davg 1.84±0.02를 기록하여 거의 완벽한 복원을 달성했고, BF∞₃는 mAP 96.66, Davg 4.74±0.00을 기록했다.
• 실세계 데이터셋에서의 노드 분류 및 추천 시스템 작업에서 제안된 방법은 경쟁 기준선을 모두 압도하여 강력한 일반화 능력과 하류 작업 성능을 보였다.
• 벡터값 거리 색상 분석을 통해 펄스 거리 척도가 리만 거리 척도보다 그래프의 대칭성을 더 잘 보존하고 평평한 요소와 계층적 요소를 더 명확히 구분함을 확인했다.