[논문 리뷰] Curvature Regularization to Prevent Distortion in Graph Embedding

Hongbin Pei, Bingzhe Wei외 3명|arXiv (Cornell University)|2020. 11. 28.

Advanced Graph Neural Networks참고 문헌 34인용 수 5

한 줄 요약

이 논문은 그래프 임bedding에서의 위상적 왜곡을 방지하기 위해 임bedding 다양체의 평탄성을 강제함으로써 곡률 정규화를 제안한다. 새로운 각도 기반 단면 곡률(ABS 곡률)을 사용하여 다섯 가지 인기 있는 근접성 유지 방법에 세 가지 정규화 형태를 통합함으로써, 다양한 그래프 데이터셋에서 성능을 크게 향상시킨다.

ABSTRACT

Recent research on graph embedding has achieved success in various applications. Most graph embedding methods preserve the proximity in a graph into a manifold in an embedding space. We argue an important but neglected problem about this proximity-preserving strategy: Graph topology patterns, while preserved well into an embedding manifold by preserving proximity, may distort in the ambient embedding Euclidean space, and hence to detect them becomes difficult for machine learning models. To address the problem, we propose curvature regularization, to enforce flatness for embedding manifolds, thereby preventing the distortion. We present a novel angle-based sectional curvature, termed ABS curvature, and accordingly three kinds of curvature regularization to induce flat embedding manifolds during graph embedding. We integrate curvature regularization into five popular proximity-preserving embedding methods, and empirical results in two applications show significant improvements on a wide range of open graph datasets.

연구 동기 및 목표

• 근접성 유지 전략으로 인해 간과된 그래프 임bedding에서의 위상적 왜곡 문제를 해결하기 위해.
• 임bedding 다양체의 평탄성을 유지함으로써 그래프 위상 패턴의 탐지 가능성을 향상시키기 위해.
• 임bedding 공간 내 벡터 간의 각도를 사용하여 단면 곡률을 측정하는 새로운 곡률 측정법—ABS 곡률—을 개발하기 위해.
• 기존의 근접성 유지 그래프 임bed딩 방법에 곡률 정규화를 통합하여 강건성을 향상시키기 위해.
• 다양한 그래프 데이터셋과 응용 분야에서 곡률 정규화의 효과를 경험적으로 검증하기 위해.

제안 방법

• 임bedding 공간 내 접선 벡터 간의 각도에서 유도된 새로운 각도 기반 단면 곡률 측정법인 ABS 곡률을 제안한다.
• 학습 중 임bedding 다양체의 비평탄성에 대한 페널티를 주기 위해 세 가지 별도의 곡률 정규화 항을 설계한다.
• 예를 들어, node2vec, LINE 등과 같은 다섯 가지 확립된 근접성 유지 그래프 임bed딩 방법에 곡률 정규화를 통합한다.
• 근접성 유지와 곡률 정규화를 균형 잡는 복합 손실 함수를 최적화한다.
• 임bedding 다양체가 가능한 한 평탄하게 유지되도록 기하학적 제약 조건을 적용하여 그래프 위상의 왜곡을 최소화한다.
• ABS 곡률의 미분 가능 형태를 활용하여 딥러닝 프레임워크와 함께 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 곡률 정규화는 학습된 그래프 임bedding에서 위상적 왜곡을 어느 정도 줄이는가?
• RQ2 제안된 ABS 곡률 측정법은 기존의 곡률 근사치와 비교해 얼마나 잘 임bedding 다양체의 평탄성을 캡처하는가?
• RQ3 곡률 정규화는 다양한 그래프 데이터셋에서 하류 기계학습 작업의 성능을 향상시킬 수 있는가?
• RQ4 다양한 근접성 유지 임bed딩 방법에 적용했을 때 곡률 정규화 접근법은 얼마나 강건한가?
• RQ5 임bedding 다양체의 평탄성을 강제하면 내재된 그래프 위상 패턴의 탐지 가능성은 향상되는가?

주요 결과

• 곡률 정규화는 다양한 개방형 그래프 데이터셋에서 하류 작업의 성능을 크게 향상시킨다.
• ABS 곡률 정규화의 통합은 더 평탄한 임bedding 다양체를 만들어 그래프 위상의 왜곡을 줄인다.
• 제안된 방법은 다섯 가지 인기 있는 근접성 유지 그래프 임bed딩 모델에 적용했을 때 일관된 성능 향상을 달성한다.
• 경험적 결과는 하류 작업에서 측정 가능한 성과 향상을 보이며, 임bedding 공간 내에서의 구조적 패턴 보존 능력 향상을 시사한다.
• 각도 기반 단면 곡률의 사용은 명시적 다양체 매개변수화가 필요 없이 효과적이고 미분 가능한 정규화를 가능하게 한다.
• 본 방법은 다양한 그래프 구조와 응용 시나리오에 걸쳐 뛰어난 일반화 성능을 보였다.