[논문 리뷰] CascadER: Cross-Modal Cascading for Knowledge Graph Link Prediction

Tara Safavi, Doug Downey외 1명|arXiv (Cornell University)|2022. 05. 16.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

CascadER는 점차 더 복잡한 언어 모델(LMs)을 사용하여 지식 그래프 임베딩(KGEs)을 계층적으로 재순서함으로써, 적응형 부분집합 선택을 통해 고비용 LM 추론을 최소화함으로써 지식 그래프 링크 예측 성능을 향상시키는 교차모달 계층적 아키텍처를 제안한다. 이는 전체 앙상블 기반 모델 대비 추론 비용을 한 단계 이상 감소시키면서 최대 9점의 MRR 향상을 달성한다.

ABSTRACT

Knowledge graph (KG) link prediction is a fundamental task in artificial intelligence, with applications in natural language processing, information retrieval, and biomedicine. Recently, promising results have been achieved by leveraging cross-modal information in KGs, using ensembles that combine knowledge graph embeddings (KGEs) and contextual language models (LMs). However, existing ensembles are either (1) not consistently effective in terms of ranking accuracy gains or (2) impractically inefficient on larger datasets due to the combinatorial explosion problem of pairwise ranking with deep language models. In this paper, we propose a novel tiered ranking architecture CascadER to maintain the ranking accuracy of full ensembling while improving efficiency considerably. CascadER uses LMs to rerank the outputs of more efficient base KGEs, relying on an adaptive subset selection scheme aimed at invoking the LMs minimally while maximizing accuracy gain over the KGE. Extensive experiments demonstrate that CascadER improves MRR by up to 9 points over KGE baselines, setting new state-of-the-art performance on four benchmarks while improving efficiency by one or more orders of magnitude over competitive cross-modal baselines. Our empirical analyses reveal that diversity of models across modalities and preservation of individual models' confidence signals help explain the effectiveness of CascadER, and suggest promising directions for cross-modal cascaded architectures. Code and pretrained models are available at https://github.com/tsafavi/cascader.

연구 동기 및 목표

• 깊은 언어 모델을 사용한 전체 앙상블이 너무 느리고, 간단한 앙상블은 성능이 떨어지므로, 교차모달 지식 그래프 링크 예측에서 정확도-효율성 간 상충 문제를 해결한다.
• 비용이 많이 드는 언어 모델의 호출 수를 최소화하면서도 높은 순위 정확도를 유지할 수 있도록, 티어별 재순서 시스템을 설계한다.
• 모델 다양성과 신뢰도 신호 유지가 지식 그래프 보완에서 효과적인 교차모달 앙상블에 기여하는 방식을 조사한다.
• 각 계층에서 더 깊은 모델 추론을 위한 가장 유망한 후보들만 선택하는 동적 프루닝 전략을 개발한다.

제안 방법

• CascadER는 세 단계 아키텍처를 사용한다: 기초 KGE 모델이 모든 후보를 점수 매기며, 이후 더 복잡한 LMs(이중 인코더, 크로스 인코더)가 상위 후보들만 재순서한다.
• 각 단계에서 정량 분위수 기반 동적 프루닝 메커니즘이 도입되며, 예를 들어 q=0.5, q=0.9와 같은 기준을 사용해 후속 단계로 넘길 후보 수를 줄인다.
• 기본 모델의 점수를 덧셈 방식으로 재가중하여, 마진 기반 순위 신호의 흐림을 방지함으로써, 신뢰도 신호를 유지한다.
• 비용이 많이 드는 크로스 인코더 LMs를 가장 불확실하거나 유망한 후보들에만 호출하도록 적응형 부분집합 선택에 의존함으로써, 계산 오버헤드를 최소화한다.
• 구조적 및 텍스트 정보를 모든 단계에서 유지하는 계층적 재순서 파이프라인을 통해 KGEs와 LMs를 통합한다.
• MRR 및 hits@k 지표 최적화를 위해 미분 가능한 프루닝 전략을 사용하여 엔드 투 엔드로 프레임워크를 훈련한다.

실험 결과

연구 질문

• RQ1 더 작은 후보 집합에 점차 더 복잡한 모델을 적용하는 계층적 아키텍처가, 계산 비용을 줄이면서도 높은 링크 예측 정확도를 유지할 수 있는가?
• RQ2 모델 간의 점수 차이(예: 마진 차이)와 같은 신뢰도 신호를 유지하는 것이 교차모달 링크 예측에서 앙상블 성능에 어떤 영향을 미치는가?
• RQ3 순위 상관관계 및 점수 분포의 차이로 측정되는 모델 다양성이 교차모달 앙상블의 효과성에 얼마나 기여하는가?
• RQ4 계층적 앙성에서 개별 모델 점수를 재가중하는 것과 단순 평균화하는 것의 영향은 무엇인가?

주요 결과

• CascadER는 네 가지 벤치마크에서 최첨단 성능을 달성하여, 가장 강력한 KGE 기반 모델 대비 최대 9점의 MRR 향상을 기록했다.
• 전체 앙상블 기반 모델 대비 추론 비용을 한 단계 이상 감소시켰다. 특히, 모든 후보 쌍에 대해 크로스 인코더를 적용하는 기반 모델 대비 뚜렷한 비용 절감 효과를 보였다.
• KGE와 크로스 인코더 조합은 CoDEx-M에서 가장 낮은 순위 상관관계(0.2025)를 보이며, 이는 높은 다양성을 의미하며, 이는 뛰어난 앙상블 성능과 관련이 있다.
• 크로스 인코더의 점수 분포는 KGEs와 이중 인코더에 비해 유의미하게 왼쪽으로 기울어져 있어, 낮은 신뢰도 후보들을 더 적극적으로 걸러내는 경향을 보인다.
• 덧셈 재가중 기법을 제거하면 개발 데이터의 MRR가 6~8점 감소함으로써, 재가중 기법이 기본 모델의 중요한 신뢰도 신호를 유지하는 데 기여함을 입증했다.
• 재가중 기법이 적용된 경우, 평균 마진과 정답 순위 간 상관관계가 유의미하게 높아졌으며, 이는 재가중 기법이 모델의 신뢰도 무결성을 유지함을 확인한다.