[논문 리뷰] TempoQR: Temporal Question Reasoning over Knowledge Graphs

Costas Mavromatis, Prasanna Lakkur Subramanyam외 6명|arXiv (Cornell University)|2021. 12. 10.

Topic Modeling인용 수 8

한 줄 요약

TempoQR는 시간 지식 그래프(TKG)에서 복잡한 시간 질문을 해결하기 위한 새로운 임bedding 기반 프레임워크로, 전용 모듈과 트랜스포머 인코더를 통해 맥락, 엔티티, 시간 인식 표현을 활용한다. 복잡한 시간 질문에서 최신 기술 대비 25–45%p의 성능 향상을 달성하며, 훈련 중에 볼 수 없었던 질문 유형으로의 일반화 능력도 뛰어나다.

ABSTRACT

Knowledge Graph Question Answering (KGQA) involves retrieving facts from a Knowledge Graph (KG) using natural language queries. A KG is a curated set of facts consisting of entities linked by relations. Certain facts include also temporal information forming a Temporal KG (TKG). Although many natural questions involve explicit or implicit time constraints, question answering (QA) over TKGs has been a relatively unexplored area. Existing solutions are mainly designed for simple temporal questions that can be answered directly by a single TKG fact. This paper puts forth a comprehensive embedding-based framework for answering complex questions over TKGs. Our method termed temporal question reasoning (TempoQR) exploits TKG embeddings to ground the question to the specific entities and time scope it refers to. It does so by augmenting the question embeddings with context, entity and time-aware information by employing three specialized modules. The first computes a textual representation of a given question, the second combines it with the entity embeddings for entities involved in the question, and the third generates question-specific time embeddings. Finally, a transformer-based encoder learns to fuse the generated temporal information with the question representation, which is used for answer predictions. Extensive experiments show that TempoQR improves accuracy by 25--45 percentage points on complex temporal questions over state-of-the-art approaches and it generalizes better to unseen question types.

연구 동기 및 목표

• 시간 제약 조건이 있는 다중 사실에 걸쳐 추론이 필요한 복잡한 시간 질문에 대한 TKG에서의 답변 갭을 해소하기 위해.
• 단일 TKG 사실로만 답변 가능한 단순 질문을 넘어서, 훈련 중에 볼 수 없었던 질문 유형으로의 일반화 능력을 향상시키기 위해.
• 하드 및 소프트 지도 학습을 모두 활용하여 질문을 특정 엔티티와 시간 범위에 고정시키는 통합 프레임워크를 개발하기 위해.
• 전용 모듈과 트랜스포머 기반 융합 레이어를 통해 텍스트, 엔티티, 시간 정보를 통합하여 질문 표현을 향상시키기 위해.
• TKG 손상 상황에서의 내구성 평가 및 훈련되지 않은 시간 질문 패tern에 대한 성능 평가를 수행하기 위해.

제안 방법

• 입력 질문의 초기 텍스트 표현을 생성하기 위해 사전 학습된 언어 모델을 사용한다.
• 지식 그래프(KG)의 엔티티 임베딩을 질문 표현에 통합하여 관련 엔티티, 예를 들어 '베스트 픽처' 또는 '더 가드포드' 등에 고정시킨다.
• 두 가지 상호보완적인 접근 방식을 통해 시간 인식 임베딩을 생성한다: (1) 질문에 주석이 달린 엔티티를 기반으로 관련 TKG 사실을 검색하고, (2) 직접 TKG에 접근하지 않고도 링크 예측 작업을 통해 시간 제약 조건을 유추한다.
• 맥락, 엔티티, 시간 인식 표현을 융합하여 통합된 질문 표현을 생성하기 위해 트랜스포머 기반 인코더를 활용한다.
• 실제 TKG 타임스탬프를 사용하는 하드 지도 학습과 링크 예측을 통해 유추된 소프트 지도 학습을 모두 지원하여 내구성과 일반화 능력을 향상시킨다.
• 다중 헤드 어텐션 메커니즘을 적용하여 추론 과정에서 다양한 시간 사실과 엔티티 관계의 관련성을 동적으로 가중한다.

실험 결과

연구 질문

• RQ1 질문 답변 시스템은 TKG 내에서 다수의 시간 사실을 효과적으로 추론하여 복잡한 시간 질문에 답할 수 있는가?
• RQ2 학습 중에 볼 수 없었던 질문 유형으로의 시간 표현 학습이 얼마나 잘 일반화되는가?
• RQ3 하드 지도 학습과 소프트 지도 학습이 TKG의 시간 인식 질문 표현 학습에 미치는 상대적 영향은 무엇인가?
• RQ4 추론 과정에서 기반 TKG가 손상되었을 경우, 다양한 방법의 내구성은 어떠한가?
• RQ5 통합 임베딩 프레임워크는 단순 및 복잡한 시간 QA 벤치마크에서 기존 방법들을 능가할 수 있는가?

주요 결과

• TempoQR는 복잡한 시간 질문에서 최신 기술 대비 Hits@1 기준 25–45%p의 성능 향상을 달성하였으며, 하드 지도 학습 설정에서 Hits@1은 0.918에 도달했다.
• TempoQR-Soft는 훈련 중에 볼 수 없었던 질문 유형으로의 일반화 능력이 훨씬 뛰어나, 훈련 중에 볼 수 없었던 복잡한 질문 유형에 대한 제로샷 평가에서 모든 베이스라인을 압도적으로 앞선다.
• 하드 지도 학습은 '첫 번째/마지막' 질문에서 소프트 지도 학습 대비 27%p의 절대적 성능 향상을 보이며, 정확한 타임스탬프가 제공될 경우 그 효과가 뚜렷하다.
• TempoQR-Hard는 TKG 손상에 매우 민감하며, 특히 고도의 손상률(p=0.8) 상황에서 성능이 크게 저하된다. 반면 CronKGQA는 더 뛰어난 내구성을 유지한다.
• TKG가 손상된 상황에서 '첫 번째/마지막' 질문에 대해 TempoQR-Hard의 성능 저하가 가장 심각하여, 진짜 타임스탬프가 신뢰할 수 없을 경우 일반화 능력에 한계가 있음을 시사한다.
• '시간 조인' 질문에 대해서는 TempoQR-Soft가 TempoQR-Hard 대비 8% 낮은 성능을 보이며, 소프트 지도 학습 기반 시간 임베딩 추론의 향상 여지를 시사한다.