[논문 리뷰] NodePiece: Compositional and Parameter-Efficient Representations of Large Knowledge Graphs

Mikhail Galkin, Étienne Denis외 2명|arXiv (Cornell University)|2021. 06. 22.

Advanced Graph Neural Networks인용 수 23

한 줄 요약

NodePiece는 대규모 지식 그래프에서 구성적 노드 임베딩을 학습하기 위해 매개변수 효율적이고 앵커 기반의 방법을 제안한다. 엔티티를 서브워드 유사 단위(앵커와 관계)의 시퀀스로 표현함으로써, 훨씬 적은 매개변수로 인도적 표현 학습이 가능하다. 이는 표준 모델 대비 최대 70배까지 매개변수를 감소시키며, 링크 예측, 노드 분류, 관계 예측에서 경쟁적인 성능을 달성한다. 전체 노드의 10퍼센트 미만을 앵커로 사용한다.

ABSTRACT

Conventional representation learning algorithms for knowledge graphs (KG) map each entity to a unique embedding vector. Such a shallow lookup results in a linear growth of memory consumption for storing the embedding matrix and incurs high computational costs when working with real-world KGs. Drawing parallels with subword tokenization commonly used in NLP, we explore the landscape of more parameter-efficient node embedding strategies with possibly sublinear memory requirements. To this end, we propose NodePiece, an anchor-based approach to learn a fixed-size entity vocabulary. In NodePiece, a vocabulary of subword/sub-entity units is constructed from anchor nodes in a graph with known relation types. Given such a fixed-size vocabulary, it is possible to bootstrap an encoding and embedding for any entity, including those unseen during training. Experiments show that NodePiece performs competitively in node classification, link prediction, and relation prediction tasks while retaining less than 10% of explicit nodes in a graph as anchors and often having 10x fewer parameters. To this end, we show that a NodePiece-enabled model outperforms existing shallow models on a large OGB WikiKG 2 graph having 70x fewer parameters.

연구 동기 및 목표

• 엔티티 수에 따라 선형적으로 증가하는 메모리 및 계산 비용을 가지는 기존 지식 그래프 임베딩 모델의 문제를 해결하기 위해.
• 기본적인 룩업 기반 임베딩 방법의 한계를 극복하고, 추론 시에 새로운 엔티티에 대해서도 인도적 표현 학습을 가능하게 하기 위해.
• 자연어처리(NLP)에서의 서브워드 토크나이제이션에 영감을 얻어, 대규모 지식 그래프를 위한 고정 크기의 매개변수 효율적 어휘를 만들기 위해.
• 엔티티 전용 임베딩을 고정 크기의 원자 단위(앵커와 관계)의 조합으로 대체하여 매개변수 예산을 줄이기 위해.
• Wikidata 및 OGB WikiKG2와 같은 대규모 실세계 지식 그래프에서 스케일이 가능하고 일반화 가능한 표현 학습을 가능하게 하기 위해.

제안 방법

• NodePiece는 앵커 노드와 관계 유형의 고정 크기 어휘를 구성하며, 각 엔티티는 자신의 k개의 가장 가까운 앵커와 m개의 주변 관계로 구성된 시퀀스로 인코딩된다.
• 각 노드를 고유한 앵커 및 관계 토큰 시퀀스로 매핑하기 위해 해싱 메커니즘을 사용하며, 이는 학습 가능한 인코더 함수를 통한 구성적 표현을 가능하게 한다.
• 인코더 함수(예: MLP 또는 Transformer)는 토큰 시퀀스를 d차원 임베딩으로 매핑하며, 전체 매개변수 예산은 어휘 크기와 인코더의 복잡도에 의해 결정된다.
• 새로운, 알려지지 않은 엔티티가 동일한 고정 어휘와 인코더를 사용하여 재학습 없이도 임베딩될 수 있도록 인도적 학습을 지원한다.
• 관계적 맥락과 앵커 거리를 활용하여 해싱의 유일성과 표현의 다양성을 향상시켜 충돌 위험을 줄인다.
• RotatE나 CompGCN와 같은 임의의 후행 모델과 호환되며, 표준 링크 예측 및 노드 분류 목표로 엔드 투 엔드로 훈련될 수 있다.

실험 결과

연구 질문

• RQ1 고정 크기의 앵커 기반 어휘가 대규모 지식 그래프에서 매개변수 효율적이고 일반화 가능한 표현 학습을 가능하게 할 수 있는가?
• RQ2 앵커와 관계에 기반한 구성적 노드 표현이 표준 룩업 기반 임베딩에 비해 매개변수 효율성과 성능 면에서 얼마나 뛰어나게 성능을 내는가?
• RQ3 특히 대규모 지식 그래프에서 NodePiece는 추론 시에 알려지지 않은 엔티티로 일반화하는 데 얼마나 잘 작동하는가?
• RQ4 관계적 맥락과 앵커 거리를 통합할 경우 노드 표현의 유일성과 품질에 어떤 영향을 미치는가?
• RQ5 NodePiece는 모델 매개변수를 수십만 배 이상 줄이며 링크 예측, 노드 분류, 관계 예측 작업에서 경쟁적인 성능을 달성할 수 있는가?

주요 결과

• NodePiece는 1,000개의 앵커와 500개의 관계 유형만을 사용해도 노드 분류, 링크 예측, 관계 예측 작업에서 경쟁적인 성능을 달성한다.
• OGB WikiKG2 데이터셋에서 10,000개의 앵커와 74개의 관계를 사용한 NodePiece는 링크 예측에서 Hits@10이 0.997을 기록하며, 78M 매개변수를 사용하는 표준 모델보다 뛰어난 성능을 보였다.
• PyTorch-BigGraph와 같은 표준 모델 대비 매개변수 수를 최대 70배까지 감소시켰다. 이 모델은 78M × 200 임베딩 행렬을 사용한다.
• 1,000개의 앵커로 구성된 어휘와 단순한 MLP 인코더를 사용한 NodePiece는 FB15k-237에서 Hits@10이 0.971을 기록했으며, 15,000개의 엔티티 임베딩을 사용하는 모델와 유사한 성능을 보였다.
• 모델은 인도적 설정에서도 잘 일반화된다: 앵커 노드가 없더라도 어휘 크기는 그래프 크기와 무관하며, 밀도가 높고 관계가 많은 그래프에서도 성능이 우수하다.
• 제거 실험 결과, 관계적 맥락이나 앵커 거리를 제거하면 성능 저하가 발생함을 확인하여, 이들이 표현의 유일성과 품질 향상에 중요한 역할을 한다는 것을 입증했다.