[논문 리뷰] Highly Efficient Knowledge Graph Embedding Learning with Orthogonal Procrustes Analysis

Xutan Peng, Guanyi Chen외 2명|arXiv (Cornell University)|2021. 04. 09.

Advanced Graph Neural Networks참고 문헌 51인용 수 17

한 줄 요약

이 논문은 관계 행렬을 통한 전체 배치 학습, 폐쇄형 직교 프로크루스테스 분석, 비음성 샘플링을 통해 훈련 시간과 탄소 배출량을 각각 최대 98.4%와 99.3% 감소시키는 매우 효율적인 지식 그래프 임베딩 프레임워크인 PROCRUSTES를 제안한다. 이는 단일 벡터 공간에 엔티티와 관계 정보를 고유하게 인코딩하여 해석 가능하고 의미가 풍부한 임베딩을 생성하며, 경쟁력 있는 성능을 유지한다.

ABSTRACT

Knowledge Graph Embeddings (KGEs) have been intensively explored in recent years due to their promise for a wide range of applications. However, existing studies focus on improving the final model performance without acknowledging the computational cost of the proposed approaches, in terms of execution time and environmental impact. This paper proposes a simple yet effective KGE framework which can reduce the training time and carbon footprint by orders of magnitudes compared with state-of-the-art approaches, while producing competitive performance. We highlight three technical innovations: full batch learning via relational matrices, closed-form Orthogonal Procrustes Analysis for KGEs, and non-negative-sampling training. In addition, as the first KGE method whose entity embeddings also store full relation information, our trained models encode rich semantics and are highly interpretable. Comprehensive experiments and ablation studies involving 13 strong baselines and two standard datasets verify the effectiveness and efficiency of our algorithm.

연구 동기 및 목표

• 기존 지식 그래프 임베딩(KGE) 방법의 높은 계산 비용과 환경 영향을 해결하기 위해.
• 성능을 희생시키지 않고 훈련 시간과 CO2 배출량을 크게 줄일 수 있는 KGE 프레임워크를 개발하기 위해.
• 관계별로 튜플을 그룹화하여 전체 배치 학습을 가능하게 하고, 효율적인 병렬 처리를 지원하기 위해.
• KGE에 대해 직교 프로크루스테스 분석의 폐쇄형 해를 도입하여 최적화 속도를 향상시키기 위해.
• 엔티티 임베딩이 동시에 엔티티와 관계의 의미를 하나의 벡터 공간에 인코딩할 수 있도록 설계하여, 설명 가능성 향상을 위해.

제안 방법

• 관계 행렬을 통한 전체 배치 학습: 관계별로 튜플을 그룹화하여 배치 간 효율적이고 병렬 처리 가능한 계산을 가능하게 한다.
• 폐쇄형 직교 프로크루스테스 분석: KGE에 프로크루스테스 문제를 신규로 적용하여 반복 최적화를 직접적인 행렬 해법으로 대체함으로써 훈련 속도를 가속화한다.
• 비음성 샘플링 훈련: 음성 샘플링이 필요 없어져 계산 오버헤드와 대역폭 사용을 감소시킨다.
• 세그먼트 임베딩: 엔티티 표현을 독립적인 부분벡터(d/ds)로 분할하여 병렬 처리를 가능하게 하고, 행렬 계산 복잡도를 감소시킨다.
• 엔티티 및 관계 의미의 통합 인코딩: 엔티티 임베딩가 관계 정보를 완전히 저장하도록 설계되어, 설명 가능성과 표현력을 향상시킨다.
• 관계 행렬 분할: 그림 1과 같이, 관계별로 행렬을 분할하여 효율적인 배치 처리를 지원하고 동기화 충돌을 줄인다.

실험 결과

연구 질문

• RQ1 KGE 프레임워크가 훈련 시간과 탄소 배출량을 수십 배 이상 감소시키면서도 최첨단 성능을 달성할 수 있는가?
• RQ2 폐쇄형 직교 프로크루스테스 분석이 KGE 훈련에 효과적으로 적용되어 반복 최적화를 대체할 수 있는가?
• RQ3 비음성 샘플링 훈련이 고비용의 음성 샘플링을 제거하면서도 모델 성능을 유지할 수 있는가?
• RQ4 엔티티 임베딩가 하나의 벡터 공간에서 엔티티와 관계의 의미를 동시에 인코딩할 수 있도록 설계될 수 있는가, 이는 설명 가능성 향상에 기여하는가?
• RQ5 제안된 관계 기반 배치 전략이 표준 무작위 배치 전략에 비해 속도와 확장성 측면에서 어떻게 비교되는가?

주요 결과

• PROCRUSTES는 표준 벤치마크에서 최첨단 KGE 방법 대비 훈련 시간을 최대 98.4% 감소시켰다.
• 이 방법은 탄소 배출량을 최대 99.3% 감소시켰으며, 이는 훈련 런당 커피 2잔 이하에 해당한다.
• PROCRUSTES가 생성한 엔티티 임베딩는 매우 해석 가능하며, 3D PCA 시각화에서 위치, 생화학적 용어, 직업 등 카테고리에 해당하는 명확한 의미 클러스터를 보여준다.
• WN18RR 및 FB15k-237에서의 링크 예측 작업에서 경쟁력 있는 성능을 달성하였으며, 최첨단 결과를 충족하거나 초월하였다.
• 이 프레임워크는 단일 벡터 공간에 엔티티와 관계의 의미를 성공적으로 통합하여, 이전 방법보다 더 풍부하고 해석 가능한 표현을 가능하게 하였다.
• 제거 실험 결과 각 구성 요소—관계 기반 배치, 폐쇄형 프로크루스테스, 비음성 샘플링—이 효율성과 성능 향상에 기여한다는 것이 확인되었다.