[논문 리뷰] Knowledge Base Completion: Baseline strikes back (Again)

Prachi Jain, Sushant Rathi외 2명|arXiv (Cornell University)|2020. 05. 02.

Advanced Graph Neural Networks참고 문헌 18인용 수 6

한 줄 요약

이 논문은 ComplEx 모델을 보편적인 음성 샘플링으로 훈련시킨 경우, 즉 Complex-V2로 불리는 방식으로 다수의 KBC 벤치마크에서 최고 수준 또는 최고 수준에 가까운 성능을 달성함을 보여준다. 1-N 스코링과 효율적인 벡터화 평가를 활용함으로써 Complex-V2는 아키텍처 변경 없이도 뛰어난 정확도를 달성하여 복잡한 새로운 모델 설계의 필요성을 의심하게 하고, 향후 KBC 연구의 기준을 재정의한다.

ABSTRACT

Knowledge Base Completion (KBC) has been a very active area lately. Several recent KBCpapers propose architectural changes, new training methods, or even new formulations. KBC systems are usually evaluated on standard benchmark datasets: FB15k, FB15k-237, WN18, WN18RR, and Yago3-10. Most existing methods train with a small number of negative samples for each positive instance in these datasets to save computational costs. This paper discusses how recent developments allow us to use all available negative samples for training. We show that Complex, when trained using all available negative samples, gives near state-of-the-art performance on all the datasets. We call this approach COMPLEX-V2. We also highlight how various multiplicative KBC methods, recently proposed in the literature, benefit from this train-ing regime and become indistinguishable in terms of performance on most datasets. Our work calls for a reassessment of their individual value, in light of these findings.

연구 동기 및 목표

• 오래된, 잘 알려진 KBC 모델들이 향상된 훈련 제도를 통해 최고 수준의 성능을 달성할 수 있는지 조사한다.
• 대규모 음성 샘플링이 자원 제약 조건에서 모델 성능에 미치는 영향을 평가한다.
• 최근 KBC 모델 아키텍처의 가치를 의심스럽게 만들기 위해, 성능 향상 요인이 모델 설계의 혁신이 아닌 훈련 방법론에 기인할 수 있음을 보여준다.
• 향후 KBC 연구를 위한 강력하고 재현 가능한 기준으로 Complex-V2를 확립한다.

제안 방법

• 저자는 ComplEx 모델을 훈련하는 동안 모든 엔터티를 음성 샘플로 사용하는 방식을 적용하여 이를 Complex-V2로 부른다.
• 1-N 스코링—주어진 주어-관계 쌍에 대해 가능한 모든 목적 엔터티를 평가함으로써 대비 손실의 효율적이고 벡터화된 계산을 가능하게 한다.
• 1-N 스코링이 메모리 소모가 큰 RotatE와 같은 모델의 경우, 여러 배치에 걸쳐 기울기 누적 기법을 사용하여 모든 음성 샘플을 사용한 훈련을 시뮬레이션한다.
• Mean Reciprocal Rank(MRR)을 주요 평가 지표로 사용하여 FB15k, WN18, YAGO3-10, FB15k-237, WN18RR 등 다양한 데이터셋에서 성능을 비교한다.
• 음성 샘플 크기의 영향을 분석하여, MRR가 긍정 샘플당 약 2,000개의 음성 샘플에서 안정화됨을 보여준다.
• RotatE, SimplE 등의 다른 모델들도 동일한 대규모 음성 샘플 훈련 제도를 적용하여 각각 RotatE-V2와 SimplE-V2로 재훈련한다.

실험 결과

연구 질문

• RQ1 ComplEx와 같이 단순하고 잘 알려진 모델이 보편적인 음성 샘플링으로 훈련될 경우 최고 수준의 성능을 달성할 수 있는가?
• RQ2 두 모델 모두 동일한 대규모 음성 샘플 훈련 제도를 적용할 경우, 최근 KBC 모델들과 이전 모델들 간의 성능 격차가 줄어들 수 있는가?
• RQ3 최근 KBC 모델의 아키텍처 혁신이 성능 향상에 기여하는 정도는 향상된 훈련 방법론에 비해 어느 정도인가?
• RQ4 기울기 누적 기법을 통해 RotatE와 같이 1-N 스코링에 잘 맞지 않는 모델에 대해 대규모 음성 샘플링을 실현 가능한가?
• RQ5 Complex-V2는 향후 KBC 모델 평가를 위한 실현 가능하고도 열등한 기준이 될 수 있는가?

주요 결과

• 모든 평가된 데이터셋—FB15k, WN18, YAGO3-10, FB15k-237, WN18RR—에서 모든 엔터티를 음성 샘플로 사용한 ComplEx 모델, 즉 Complex-V2가 최고 수준 또는 최고 수준에 가까운 성능을 달성한다.
• FB15k에서 Complex-V2는 음성 샘플 수가 증가함에 따라 MRR 향상이 두드러지며, 긍정 샘플당 약 2,000개의 음성 샘플에서 안정화된다.
• Gradient accumulation을 통해 모든 엔터티를 음성 샘플로 사용한 RotatE-V2는 표준 훈련 방식(256개의 음성 샘플)에 비해 FB15k, FB15k-237, YAGO3-10에서 MRR이 최대 3점 향상된다.
• TransE와 RotatE에서 L1 노름에서 L2 노름으로 전환할 경우 MRR가 각각 7.8점, 6.5점 감소하여, L2 노름을 사용한 벡터화된 대비 손실은 이들 모델에 대해 실현 불가능하다.
• Complex-V2와 최근 최고 성능 모델 간의 성능 격차는 미미하거나 존재하지 않으며, 이는 아키텍처의 신규성보다는 훈련 방법론이 성능 향상의 주요 원인일 수 있음을 시사한다.
• 연구는 Complex-V2가 KBC 분야의 새로운 기준이 되어야 한다고 결론 내리며, 향후 새로운 모델가 성능을 입증하기 위해서는 Complex-V2를 능가해야 한다.