[논문 리뷰] Path-Based Contextualization of Knowledge Graphs for Textual Entailment

Kshitij Fadnis, Kartik Talamadupula외 4명|arXiv (Cornell University)|2019. 11. 05.

Topic Modeling참고 문헌 35인용 수 4

한 줄 요약

이 논문은 텍스트 추론 성능을 향상시키기 위해 지식 그래프(KG)의 경로 기반 컨텍스츄얼라이제이션 방법을 제안한다. 이는 전제와 가설 엔티티 간의 비용 맞춤형 최단 경로를 통해 작업에 관련된 부분 그래프를 추출함으로써 이루어진다. 다양한 히우리스틱을 사용해 간선의 가중치를 설정하고, 정보가 풍부한 다단계 경로를 선택함으로써, 텍스트 전용 및 엔티티 전용 기준보다 성능을 향상시키며, 노이즈를 줄이고 관계적 구조를 유지한다. 이로 인해 SciTail에서 3.15% 향상되고 SNLI에서 0.97% 향상되었다.

ABSTRACT

In this paper, we introduce the problem of knowledge graph contextualization -- that is, given a specific NLP task, the problem of extracting meaningful and relevant sub-graphs from a given knowledge graph. The task in the case of this paper is the textual entailment problem, and the context is a relevant sub-graph for an instance of the textual entailment problem -- where given two sentences p and h, the entailment relationship between them has to be predicted automatically. We base our methodology on finding paths in a cost-customized external knowledge graph, and building the most relevant sub-graph that connects p and h. We show that our path selection mechanism to generate sub-graphs not only reduces noise, but also retrieves meaningful information from large knowledge graphs. Our evaluation shows that using information on entities as well as the relationships between them improves on the performance of purely text-based systems.

연구 동기 및 목표

• 대규모이고 노이즈가 많은 지식 그래프에서 의미 있고 관련 있는 부분 그래프를 추출하는 데 도전하는 것.
• 텍스트나 엔티티 수준 정보에만 의존하는 것과는 달리, 지식 그래프의 엔티티와 관계를 모두 통합하여 텍스트 추론 성능을 향상시키는 것.
• 조정 가능한 히우리스틱과 경로 길이 제약 조건을 사용해 동적으로 정보가 풍부한 경로를 선택함으로써 지식 그래프 보강 시 노이즈를 줄이는 것.
• 특히 관계적 구조를 포함한 경로 기반 정보가 엔티티 전용 또는 구조 전용 접근 방식을 초월해 NLI 시스템 성능을 크게 향상시킨다는 것을 입증하는 것.
• 수동으로 설계된 특징이나 한 단계 이웃 확장에 의존하는 모델에 비해 일반화 가능하고 확장성이 뛰어난 대안을 제공하는 것.

제안 방법

• 다양한 히우리스틱 함수(RF, DC 등)를 사용해 지식 그래프의 간선 가중치를 맞춤 설정함으로써 경로 선택을 유도하고, 이를 통해 비용 맞춤형 그래프로 변환하여 최단 경로 계산을 수행한다.
• 전제와 가설의 엔티티 간 최단 경로를 비용 맞춤형 그래프에서 A* 탐색을 사용해 계산하며, 이때 히우리스틱은 노드가 아닌 간선에 적용된다.
• 결과로 도출된 경로(엔티티와 관계 포함)는 NLI 모델의 텍스트 입력을 보강하는 데 사용되어 구조적이고 관계적인 지식을 강화한다.
• 텍스트적 특징과 경로 기반 특징을 병합한 데이터로 Match-LSTM 모델을 훈련시켜 추론, 모순, 중립 관계를 예측한다.
• 유의미한 정보와 노이즈 감소 사이의 균형을 맞추기 위해 다양한 히우리스틱과 경로 길이를 하이퍼파라미터로 평가한다.
• SNLI, SciTail, BreakingNLI에서 경로 기반, 엔티티 전용, 구조 기반 기준과 비교하여 평가한다.

실험 결과

연구 질문

• RQ1 지식 그래프에서 경로 기반 부분 그래프 추출이 텍스트 전용 또는 엔티티 전용 방법보다 텍스트 추론 성능을 향상시키는가?
• RQ2 경로를 따라 엔티티와 관계를 모두 통합할 경우, 엔티티만 또는 그래프 구조만 사용하는 것보다 NLI 모델 성능에 어떤 영향을 미치는가?
• RQ3 자동으로 계산된 다수의 히우리스틱을 사용할 경우, NLI를 위한 지식 그래프 부분 그래프에서 노이즈가 얼마나 감소하는가?
• RQ4 경로 길이 제약 조건은 추출된 부분 그래프의 정보 량과 노이즈 사이의 트레이드오���에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 수동으로 설계된 특징이나 한 단계 이웃 확장에 의존하는 모델보다 더 잘 일반화되는가?

주요 결과

• 경로 기반 접근 방식은 KES 기준 대비 SciTail 데이터셋에서 3.15%의 절대적 성능 향상을 달성했으며, 평균적으로 엔티티(13.72 vs. 33.27)와 관계(10.24 vs. 22.09)의 수를 크게 줄였다.
• SNLI 데이터셋에서는 KES 대비 0.97%의 절대적 성능 향상을 기록했으며, 엔티티와 관계의 평균 수를 50% 이상 감소시켰다.
• GRN 모델은 SciTail과 SNLI에서 ConSeqNet과 KES를 모두 압도하며, 개념 전용 또는 한 단계 구조 전용 방법보다 전체 경로 정보를 사용하는 것이 유리함을 입증했다.
• BreakingNLI 데이터셋에서의 악성 공격에 대해 강건성을 보였지만, 해당 데이터셋의 특성상 한 단계 설계에 유리한 KES와 KIM에 비해 성능이 열등했다.
• 다양한 히우리스틱과 조정 가능한 경로 길이를 통해 효과적인 노이즈 감소를 달성했으며, 성능은 유지 또는 향상시켰다. 이는 제안된 접근 방식의 유연성과 확장성의 타당성을 입증한다.
• 결과는 경로를 따라 전달되는 관계적 정보가 엔티티 수준 또는 구조 전용 특징보다 NLI 성능 향상에 더 큰 기여를 한다는 것을 확인하며, 전체 경로 컨텍스츄얼라이제이션의 가치를 강조한다.