[논문 리뷰] ParaGraphE: A Library for Parallel Knowledge Graph Embedding

Xiao-Fan Niu, Wu-Jun Li|arXiv (Cornell University)|2017. 03. 16.

Advanced Graph Neural Networks참고 문헌 6인용 수 6

한 줄 요약

ParaGraphE는 지식 그래프 임베딩을 다중 스레드를 통해 분산 학습하는 데 중점을 두고, 통합된 락-프리 프레임워크를 사용하여 성능을 향상시키는 병렬 라이브러리로, FB15k와 WN18 등의 대규모 데이터셋에서 정확도를 손상시키지 않은 채 최대 8배의 속도 향상을 달성한다. TransE, TransH, TransR, TransD, SphereE 등의 다양한 임베딩 방법을 지원한다.

ABSTRACT

Knowledge graph embedding aims at translating the knowledge graph into numerical representations by transforming the entities and relations into continuous low-dimensional vectors. Recently, many methods [1, 5, 3, 2, 6] have been proposed to deal with this problem, but existing single-thread implementations of them are time-consuming for large-scale knowledge graphs. Here, we design a unified parallel framework to parallelize these methods, which achieves a significant time reduction without influencing the accuracy. We name our framework as ParaGraphE, which provides a library for parallel knowledge graph embedding. The source code can be downloaded from https://github.com/LIBBLE/LIBBLE-MultiThread/tree/master/ParaGraphE .

연구 동기 및 목표

• 대규모 지식 그래프에서 단일 스레드 기반 지식 그래프 임베딩 방법의 높은 계산 비용을 해결하기 위해.
• 기존의 마진 기반 지식 그래프 임베딩 방법을 핵심 학습 목표를 변경하지 않고도 통합적이고 확장 가능한 프레임워크로 병렬화하기 위해.
• 최신 모델의 정확도를 유지하면서 학습 시간을 크게 단축시키기 위해.
• 잠금 없는 다중 스레드 구현을 통해 효율적이고 확장 가능한 지식 그래프 임베딩 학습을 가능하게 하기 위해.
• 다양한 임베딩 모델을 지원하고 다른 그래프 기반 학습 작업으로도 확장 가능한 일반 목적의 라이브러리 제공하기 위해.

제안 방법

• 임베딩 업데이트 중의 동기화 병목 현상을 방지하기 위해 락-프리 스레드 스케줄링 기반의 통합 병렬 학습 프레임워크를 구현하기 위해.
• 마진 기반 허프 기반 손실 함수를 사용하며, $\mathcal{L} = \sum_{(h,r,t)\in S} \sum_{(h',r,t')\in S'} [s(h,r,t) + \gamma - s(h',r,t')]_+$ 로 수식화되며, $S$ 는 양성 삼중항의 집합이고 $S'$ 는 위조된 음성 삼중항의 집합이다.
• 학습 샘플을 $p$ 개의 스레드로 분배하여, 각 스레드가 독립적으로 양성 및 음성 삼중항을 샘플링하고, 기울기를 계산하며, 병렬로 임베딩을 업데이트한다.
• 모델 안정성과 각 방법 간의 일관성을 유지하기 위해 각 업데이트 후 정규화 제약 조건(예: $\|\mathbf{h}\|_2 = 1$)을 강제로 적용한다.
• 각 방법에 맞는 다수의 점수 함수 및 제약 조건을 지원한다(예: TransE는 $s(h,r,t) = \|\mathbf{h} + \mathbf{r} - \mathbf{t}\|$ 를 사용; TransH는 관계별로 특화된 정규 벡터를 통한 투영을 사용).
• 점수 함수와 제약 조건에 차이를 추상화하여 기존 임베딩 모델과 통합함으로써, TransE, TransH, TransR, TransD, SphereE에 대한 즉각적인 통합 지원을 가능하게 한다.

실험 결과

연구 질문

• RQ1 통합된 병렬 프레임워크는 성능 저하 없이 지식 그래프 임베딩 모델의 학습 시간을 크게 줄일 수 있는가?
• RQ2 다중 스레드 학습은 단일 스레드 기반 기준선 대비 수렴성과 모델 정확도에 어떤 영향을 미치는가?
• RQ3 WN18과 FB15k와 같은 다양한 지식 그래프 크기와 복잡성에서 ParaGraphE는 어느 정도 확장 가능한가?
• RQ4 다양한 점수 함수와 제약 조건을 가진 다양한 지식 그래프 임베딩 방법을 동일한 프레임워크로 효율적으로 지원할 수 있는가?
• RQ5 표준 벤치마크 데이터셋에서 1~10개의 스레드로 확장할 때 ParaGraphE의 기대 속도 향상은 어느 정도인가?

주요 결과

• 10개의 스레드를 사용할 경우 WN18과 FB15k에서 최대 8배의 속도 향상을 달성했으며, 안정적인 에포크 손실 곡선을 통해 수렴에 미치는 영향이 최소임을 확인했다.
• 학습 시간이 극적으로 단축되었다: TransR는 ParaGraphE를 사용해 FB15k에서 165.0초 만에 완료되었으며, 원본 구현 대비 훨씬 더 긴 시간이 소요되는 것으로 나타났다.
• 모델 정확도는 매우 경쟁력 있으며, WN18과 FB15k에서 원본 논문에 보고된 결과와 매우 유사하다. 특히 FB15k에서 SphereE는 MRR(filter) 0.464와 hits@10 0.699를 기록했다.
• TransE, TransH, TransR, TransD, SphereE 등 모든 지원 모델에서 일관된 성능 유지를 유지했으며, 정확도 저하가 최소한이었다.
• 1~10개의 스레드 수에 따른 손실 곡선은 안정적인 수렴을 보이며, 병렬화가 최적화 과정을 손상시키지 않음을 확인했다.
• 잠금 없는 설계 덕분에 동기화 오버헤드가 최소화되어 다중 코어 시스템에서 고처리량을 달성할 수 있는 효율적이고 확장 가능한 학습을 지원한다.