[논문 리뷰] Efficient Relation-aware Scoring Function Search for Knowledge Graph Embedding

Shimin Di, Quanming Yao외 2명|arXiv (Cornell University)|2021. 04. 22.

Advanced Graph Neural Networks참고 문헌 50인용 수 4

한 줄 요약

이 논문은 지식 그래프 임bedding에서 관계 인식 스코링 함수를 학습하기 위한 one-shot, 슈퍼넷 기반 신경망 아키텍처 탐색 방법인 ERAS를 제안한다. 공유 슈퍼넷 내에서 관계별로 특화된 스코링 함수를 모델링하고 효율적인 대체 최소화를 사용함으로써, 기존 AutoML 기반 방법에 비해 더 높은 일반화 능력과 효율성을 확보하면서 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

The scoring function, which measures the plausibility of triplets in knowledge graphs (KGs), is the key to ensure the excellent performance of KG embedding, and its design is also an important problem in the literature. Automated machine learning (AutoML) techniques have recently been introduced into KG to design task-aware scoring functions, which achieve state-of-the-art performance in KG embedding. However, the effectiveness of searched scoring functions is still not as good as desired. In this paper, observing that existing scoring functions can exhibit distinct performance on different semantic patterns, we are motivated to explore such semantics by searching relation-aware scoring functions. But the relation-aware search requires a much larger search space than the previous one. Hence, we propose to encode the space as a supernet and propose an efficient alternative minimization algorithm to search through the supernet in a one-shot manner. Finally, experimental results on benchmark datasets demonstrate that the proposed method can efficiently search relation-aware scoring functions, and achieve better embedding performance than state-of-the-art methods.

연구 동기 및 목표

• 지식 그래프 내에서 다양하게 변하는 의미적 패턴에도 불구하고 모든 관계를 동일하게 취급하는 기존 스코링 함수의 한계를 해결하기 위해.
• 관계 인식 스코링 함수 선택을 가능하게 하는 탐색 공간을 설계하여 모델의 표현력과 일반화 능력을 향상시키기 위해.
• 탐색 공간을 슈퍼넷으로 표현하고 one-shot 아키텍처 탐색을 통해 관계 인식 탐색의 계산 비용을 줄이기 위해.
• 스코링 함수와 임베딩을 번갈아가며 업데이트하는 효율적인 최적화 알고리즘을 개발하여 과적합을 방지하기 위해.

제안 방법

• 의미적 패턴에 따라 관계를 그룹화하고 각 그룹에 고유한 스코링 함수를 할당함으로써 관계 인식 스코링 함수 탐색 문제를 수립한다.
• 모든 후보 스코링 함수를 관계 그룹 간에 통합하는 슈퍼넷을 구축하여 파라미터 공유와 효율적 탐색을 가능하게 한다.
• 슈퍼넷을 한 번만 훈련하고 재학습 없이 다양한 하위망을 평가할 수 있는 one-shot 아키텍처 탐색 전략을 적용한다.
• 스코링 함수와 엔티티-관계 임베딩을 번갈아가며 업데이트함으로써 공동 최적화하는 대체 최소화 알고리즘을 제안한다.
• 검증 성능을 기반으로 각 관계 그룹의 최적 스코링 함수를 선택하여 일반화를 보장한다.
• 탐색 과정에서 관계를 동적으로 그룹화함으로써 인간이 정의한 의미 그룹화에 의한 편향을 피한다.

실험 결과

연구 질문

• RQ1 작업 인식적이지만 관계 무관인 방법에 비해 관계 인식 스코링 함수 탐색 전략이 지식 그래프 임베딩 성능을 크게 향상시킬 수 있는가?
• RQ2 각 후보를 다시 학습하지 않고도 관계 인식 스코링 함수의 큰 탐색 공간을 효율적으로 탐색할 수 있는가?
• RQ3 정적이고 인간이 정의한 그룹화 대비 동적 관계 그룹화가 모델 성능에 어떤 영향을 미치는가?
• RQ4 관계 그룹 수와 블록 수의 변화가 성능와 효율성 간의 트레이드오프에 어떤 영향을 미치는가?
• RQ5 슈퍼넷 기반 one-shot NAS 접근 방식이 높은 탐색 효율성을 유지하면서도 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• ERAS는 모든 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하였으며, WN18에서 MRR 점수 0.953, WN18RR에서 0.492, FB15K에서 0.855, FB15k237에서 0.365, YAGO3-10에서 0.577를 기록하였다.
• 모든 데이터셋에서 AutoSF 및 기타 최신 기술 수준(SOTA) 기반 모델을 능가하여 관계 인식 스코링 함수 설계의 효과성을 입증하였다.
• ERAS는 3~4개의 관계 그룹에서 최적 성능를 달성하여 중간 정도의 그룹화가 과도한 복잡성 없이 일반화 능력을 향상시킨다는 것을 보여주었다.
• ERAS의 이중 최적화 전략은 단일 수준 최적화보다 더 우수한 검증 성능를 보이며 더 나은 일반화를 이끌어냈다.
• 슈퍼넷 기반 one-shot 탐색은 다양한 블록 수와 그룹화 전략 설정이 가능한 효율적인 훈련 및 추론을 가능하게 하였다.
• 탐색을 통한 동적 그룹화가 인간이 정의한 의미 그룹화보다 성능이 뛰어나, 데이터 기반 할당이 사전 가정보다 더 효과적임을 시사한다.