[논문 리뷰] Revisiting Simple Neural Networks for Learning Representations of Knowledge Graphs

Srinivas Ravishankar, Chandrahas외 1명|arXiv (Cornell University)|2017. 11. 15.

Advanced Graph Neural Networks참고 문헌 16인용 수 7

한 줄 요약

이 논문은 다양한 지식 그래프 벤치마크 데이터셋에서 유연한 스코어링 함수를 학습함으로써 다양한 데이터 특성에 적응하는 단순한 피드포워드 신경망인 ER-MLP가 거의 최첨단 성능을 달성할 수 있음을 보여준다. 단순한 구조임에도 불구하고, ComplEx나 HolE와 같은 복잡한 모델들과 비교해도 성능이 뛰어나거나 동등하며, 역관계 편향이 있는지 여부에 관계없이 다양한 데이터셋에서 뛰어난 성능을 보인다.

ABSTRACT

We address the problem of learning vector representations for entities and relations in Knowledge Graphs (KGs) for Knowledge Base Completion (KBC). This problem has received significant attention in the past few years and multiple methods have been proposed. Most of the existing methods in the literature use a predefined characteristic scoring function for evaluating the correctness of KG triples. These scoring functions distinguish correct triples (high score) from incorrect ones (low score). However, their performance vary across different datasets. In this work, we demonstrate that a simple neural network based score function can consistently achieve near start-of-the-art performance on multiple datasets. We also quantitatively demonstrate biases in standard benchmark datasets, and highlight the need to perform evaluation spanning various datasets.

연구 동기 및 목표

• 최첨단 지식 그래프 임베딩 모델의 일반화 능력이 다양한 벤치마크 데이터셋에서 어떻게 평가되는지 확인하기 위해.
• WN18 및 FB15k와 같은 표준 벤치마크 데이터셋에서 역관계 편향의 존재와 영향을 조사하기 위해.
• 복잡한 아키텍처 설계에 의존하지 않고도 여러 데이터셋에서 경쟁 가능한 성능을 달성할 수 있는 단순한 신경망 기반 스코어링 함수의 가능성을 입증하기 위해.
• 모델이 다양한 그래프 특성에 대해 강건한지 보장하기 위해 더 넓은 범위의 데이터셋에 대한 평가를 촉진하기 위해.
• 최근 문헌에서 강한 경험적 성능에도 불구하고 그들의 부족한 존재감에도 불구하고, 단순한 신경 모델이 지식 그래프 임베딩에서 수행하는 역할 재평가하기 위해.

제안 방법

• 엔티티와 관계 임베딩를 입력으로 받고 삼중항 스코어를 출력하는 간단한 두 층의 피드포워드 신경망인 ER-MLP를 제안한다.
• 스코어링 함수와 임베딩를 동시에 최적화하기 위해 음성 샘플링 기반 손실 함수를 사용해 모델을 엔드 투 엔드로 훈련시킨다.
• 최종 분류기 이전에 입력 임베딩에 2D 컨볼루션 레이어를 적용하여 특징 추출을 향상시키는 변형인 ER-MLP-2d를 도입한다.
• TransE와 유사한 페airwise 랭킹 손실 함수를 사용해 모델을 최적화하며, 고정된 공식 대신 학습된 비선형 스코어링 함수를 사용한다.
• 특정 관계 유형이나 대칭성에 대한 아키텍처적 편향 없이 엔티티와 관계 임베딩를 입력 특징으로 사용한다.
• WN18, FB15k, FB15k-237, WN18RR, FB13, WN11의 여섯 가지 데이터셋에서 성능을 평가하여 다양한 데이터 편향에서의 일반화 능력을 점검한다.

실험 결과

연구 질문

• RQ1 역관계 편향 정도가 다른 다양한 벤치마크 데이터셋에서 최첨단 지식 그래프 임베딩 모델의 성능는 어떻게 달라지는가?
• RQ2 복잡한 사전 정의된 스코어링 함수(예: ComplEx, HolE)와 비교해도 단순한 신경망 기반 스코어링 함수가 다양한 지식 그래프 데이터셋에서 뛰어난 성능을 낼 수 있는가?
• RQ3 WN18과 FB15k와 같은 표준 벤치마크에서의 역관계 편향이 모델의 일반화 및 강건성 평가에 얼마나 심각하게 왜곡을 초래하는가?
• RQ4 단순한 신경망 아키텍처 내에서 학습 가능한 비선형 스코어링 함수가 고정된 스코어 함수보다 다양한 그래프 구조에 더 잘 적응할 수 있는가?
• RQ5 ER-MLP와 같은 최소한의 신경 아키텍처가 아키텍처의 복잡성 없이도 경쟁 가능한 성능를 달성할 수 있으며, 현재 연구에서 그 가치가 충분히 평가되지 않았는가?

주요 결과

• FB15K-237에서 ER-MLP는 Hits@10 54.0, MRR 0.342를 기록하여 ComplEx(50.7, 0.326)와 HolE(47.0, 0.298)를 모두 능가하며, 도전적인 편향 없는 데이터셋에서 강력한 일반화 능력을 보였다.
• WN11에서 ER-MLP는 Hits@10 14.01, MRR 0.071을 기록하여 ComplEx(10.9, 0.071)와 HolE(10.48, 0.059)를 크게 앞서며, 자원이 적고 흐린 그래프에서 뛰어난 성능을 보였다.
• FB13에서 ER-MLP는 Hits@10 63.13, MRR 0.479를 기록하여 ComplEx(51.38, 0.382)와 HolE(54.87, 0.392)를 초월하며, 복잡한 다중관계 데이터셋에서 일관된 성능 향상을 보였다.
• WN18에서 ER-MLP는 MRR 0.895를 기록하여 ComplEx(0.938)와 HolE(0.934)에 근접한 성능를 보였으며, 기존에 선형 모델이 우세했던 편향이 있는 데이터셋에서도 강력한 성능를 입증했다.
• 모델의 성능는 역관계 편향이 있는지 여부에 관계없이 안정적으로 유지되어, 데이터셋 특화된 아티팩트에 의존하지 않음을 시사한다.
• 결과는 단순한 신경 모델인 ER-MLP가 강력한 경험적 성능와 다양한 그래프 구조에 대한 적응 능력을 지니고 있음에도 불구하고 현재 문헌에서 여전히 활용이 부족하다는 것을 보여준다.