[논문 리뷰] KERMIT -- A Transformer-Based Approach for Knowledge Graph Matching

Sven Hertling, Jan Portisch외 1명|arXiv (Cornell University)|2022. 04. 29.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

KERMIT는 효율적인 후보 생성을 위한 이중 인코더(SBERT)와 고정밀 재순서 정렬을 위한 미세조정된 크로스 인코더를 결합한 확장 가능한 지식 그래프 매칭 시스템이다. 참고 정렬이 없을 경우에도 고정밀 매칭기를 사용해 훈련용 양성 예시를 생성함으로써 기준 데이터셋에서 F1 점수 최대 0.892를 달성한다.

ABSTRACT

One of the strongest signals for automated matching of knowledge graphs and ontologies are textual concept descriptions. With the rise of transformer-based language models, text comparison based on meaning (rather than lexical features) is available to researchers. However, performing pairwise comparisons of all textual descriptions of concepts in two knowledge graphs is expensive and scales quadratically (or even worse if concepts have more than one description). To overcome this problem, we follow a two-step approach: we first generate matching candidates using a pre-trained sentence transformer (so called bi-encoder). In a second step, we use fine-tuned transformer cross-encoders to generate the best candidates. We evaluate our approach on multiple datasets and show that it is feasible and produces competitive results.

연구 동기 및 목표

• 기존의 문자 기반 차단 방법의 확장성과 재현율 한계를 해결하기 위해.
• 사전 훈련된 트랜스포머에서 유도된 문맥 임베딩을 활용해 온톨로지 및 지식 그래프 매칭을 효과적으로 수행하기 위해.
• 참고 정렬에 대한 의존도를 줄이기 위해 고정밀 매칭기를 도입해 양성 예시 생성을 가능하게 하기 위해.
• 이중 단계 파이프라인(이중 인코더 기반 후보 생성 + 크로스 인코더 기반 재순서 정렬)을 통해 매칭 정확도를 향상시키기 위해.
• 다양하고 대규모 데이터셋에서 시스템을 평가하여 최신 OAEI 시스템과의 경쟁력과 견고성을 입증하기 위해.

제안 방법

• 개념 설명 간의 의미 유사도를 계산하여 초기 후보 매칭을 생성하기 위해 사전 훈련된 문장 트랜스포머(SBERT)를 이중 인코더로 사용한다.
• 참고 정렬이 제공되지 않을 경우, 정확한 문자 일치 또는 규칙 기반 논리와 같은 고정밀 매칭기를 사용해 훈련용 양성 예시를 생성한다.
• 참고 정렬에서 샘플링하여 균형 잡힌 양성 및 음성 쌍을 생성하여 크로스 인코더의 미세조정을 수행한다.
• 생성된 양성 및 음성 쌍을 기반으로 트랜스포머 기반 크로스 인코더를 미세조정하여 진짜 매칭과 가짜 양성 예측을 구분한다.
• 미세조정된 크로스 인코더를 사용해 이중 인코더에서 생성된 상위-k 후보를 재순서 정렬하고, 각 개념에 대해 점수 기반으로 최고의 대응 관계를 선택한다.
• 최종 출력의 일관성 문제를 해결하기 위해 논리 기반 정렬 복구 단계를 적용한다.

실험 결과

연구 질문

• RQ1 이중 인코더 기반 접근 방식은 전통적인 문자 기반 차단 방법보다 높은 재현율을 유지하면서도 지식 그래프 매칭에서 우월한 성능을 내는가?
• RQ2 참고 정렬이 없을 경우 고정밀 매칭기가 양성 훈련 예시 생성에 얼마나 효과적인가?
• RQ3 초기 설정된 SBERT 추론 대비 크로스 인코더의 미세조정이 매칭 정확도 향상에 얼마나 기여하는가?
• RQ4 이중 단계 파이프라인(이중 인코더 + 크로스 인코더)은 표준 OAEI 기준에서 경쟁 가능한 성능을 달성하는가?
• RQ5 제한된 배경 지식을 가진 도메인을 포함한 다양한 도메인에서도 시스템이 높은 정밀도와 F1 점수를 유지하는가?

주요 결과

• KERMIT는 BERT 크로스 인코더를 사용해 참고 샘플링을 적용한 마우스-인간 해부 추적에서 F1 점수 0.892를 기록했으며, 많은 기존 OAEI 시스템을 능가했다.
• fma-nci 데이터셋에서 BERT 크로스 인코더는 참고 샘플링을 통해 F1 점수 0.889를 기록했고, ALBERT 모델은 고정밀 매칭기를 사용해 F1 점수 0.899를 달성하여 참고 데이터가 없는 상황에서도 뛰어난 성능을 보였다.
• 고정밀 매칭기를 사용한 비지도 학습 변형은 fma-nci와 anomed-nci에서 참고 샘플링 모델을 초월했으며, 이는 더 높은 양성 예측 밀도 때문일 것이다.
• ROBERTA 모델은 고정밀 매칭기를 사용했을 때 해부 추적에서 전체적으로 가장 높은 F1 점수 0.892를 기록했으며, 이는 강력한 제로샷 성능을 보여주었다.
• fma-snomed 추적에서 참고 정렬로 훈련된 ROBERTA 모델은 F1 점수 0.823을 기록했으며, 도메인 전용 지식을 사용하는 2021년 최상위 시스템인 AML에 근접한 성능을 보였다.
• 최소한의 참고 데이터에서도 ALBERT 모델이 fma-nci에서 0.97 이상의 정밀도를 유지함으로써 자원이 제한된 환경에서도 강력한 견고성을 보였다.