[논문 리뷰] Extracting Summary Knowledge Graphs from Long Documents

Zeqiu Wu, Rik Koncel-Kedziorski외 2명|arXiv (Cornell University)|2020. 09. 19.

Topic Modeling참고 문헌 36인용 수 8

한 줄 요약

이 논문은 장문의 과학적 문서에서 압축되고 핵심적인 지식 그래프를 추출하기 위한 새로운 텍스트-지식 그래프 작업을 제안하며, 자동 및 인간 레이블이 부여된 200만 개의 문서/지식 그래프 쌍으로 구성된 데이터셋을 제시한다. 그래프 학습 및 텍스트 요약 기반의 베이스라인을 평가한 결과, 관계의 핵심성 예측이 매우 어렵다는 점을 발견하였으며, 특히 공호성 오류와 실체 언급 분할 문제로 인해 어려움이 있다. 이는 지식 그래프 요약에서 더 나은 문맥 모델링이 필요하다는 점을 시사한다.

ABSTRACT

Knowledge graphs capture entities and relations from long documents and can facilitate reasoning in many downstream applications. Extracting compact knowledge graphs containing only salient entities and relations is important but challenging for understanding and summarizing long documents. We introduce a new text-to-graph task of predicting summarized knowledge graphs from long documents. We develop a dataset of 200k document/graph pairs using automatic and human annotations. We also develop strong baselines for this task based on graph learning and text summarization, and provide quantitative and qualitative studies of their effect.

연구 동기 및 목표

• 장문의 문서, 예를 들어 과학 논문과 같은 것들에서 압축되고 핵심적인 지식 그래프를 추출하는 데 도전하는 데 초점을 맞춘다.
• 문서의 주요 아이디어를 반영하는 요약 지식 그래프를 예측하는 데 초점을 맞춘 새로운 텍스트-지식 그래프 작업을 개발한다. 이는 개요와 유사하다.
• 평가를 위해 자동 및 인간 레이블이 모두 포함된 200만 개의 문서/지식 그래프 쌍으로 구성된 대규모 개방형 데이터셋을 구축한다.
• 이 새로운 작업에서 그래프 학습 및 텍스트 요약 모델의 성능을 평가하고 비교하며, 공호성 오류 및 실체 분할과 같은 주요 실패 원인을 특정한다.
• 어휘적 다양성에 대응하면서 정확도와 부정확도의 균형을 맞추는 평가 프레임워크를 제공한다.

제안 방법

• 요약문과 기존 지식 자원에서 유도된 약한 지도 학습을 사용하여 200만 개의 과학적 문서/지식 그래프 쌍 데이터셋을 구축하며, 자동 및 인간 레이블을 통합한다.
• 두 가지 강력한 베이스라인을 개발한다: 그래프 주의망(GAT)을 사용한 엔드 투 엔드 지식 그래프 예측을 위한 그래프 기반 모델(G2G)과 BERT 기반 텍스트 요약(BertSumExt)을 기반으로 한 텍스트-지식 그래프 모델(TTG).
• 어휘적 다양성과 공호성을 고려하기 위해 실체 및 관계 평가에 유연한 매칭 전략을 적용하여 미세한 어휘 차이에 대한 강건성을 향상시킨다.
• 실체 및 관계 F1 점수를 유연한 매칭 방식으로 측정하는 하이브리드 평가 프로토콜을 사용하며, 다양한 실체 유형과 문서 섹션에 따른 성능을 분석한다.
• 멘션 길이, 공호성 오류, 섹션별 실체 분포를 분석하여 모델 실패 원인을 분석한다. 이는 초기 문서 섹션에 의존하는 모델의 편향을 드러낸다.
• 실체 멘션 길이와 빈도가 핵심성 예측에 미치는 영향을 평가하기 위해 추론 실험을 통합하며, 특히 긴 이름을 가진 기술적 실체에 대해 집중한다.

실험 결과

연구 질문

• RQ1 그래프 학습 및 텍스트 요약 모델은 장문의 문서에서 요약 지식 그래프를 구성하기 위해 핵심 실체와 관계를 얼마나 잘 예측할 수 있는가?
• RQ2 공호성 오류와 실체 분할은 요약 지식 그래프의 관계 예측 정확도에 어느 정도 영향을 미치는가?
• RQ3 빈도 기반 방법이 왜 핵심 실체를 식별하지 못하는가? 특히 핵심 실체가 긴 다단어 이름을 가질 경우에 대해 설명하라.
• RQ4 문서 내 실체 멘션의 위치(예: 첫 번째 섹션 대비 후속 섹션)가 모델 성능과 편향에 어떤 영향을 미치는가?
• RQ5 실체 멘션의 문맥 정보는 핵심 지식 그래프 추출 정확도 향상에 어떤 역할을 하는가?

주요 결과

• 그래프 주의망(GAT) 기반의 G2G 모델은 텍스트 요약에 의존하는 TTG 모델보다 높은 실체 및 관계 F1 점수를 기록하며, 이는 이 작업에 있어 그래프 수준의 모델링이 더 효과적임을 시사한다.
• TTG 모델은 논문의 첫 번째 섹션에 있는 실체(예측된 핵심 실체의 85%)에 강한 편향을 보이며, G2G 모델은 덜 편향되지만(68%) 여전히 후속 섹션에 나타나는 실체에서는 성능이 떨어진다.
• 실체 유형 'Metric'는 가장 예측하기 어려운 유형으로, 전체 핵심 실체의 5~6%에 불과하며, 첫 번째 섹션에 나타나는 비율도 가장 낮다(인간 테스트 세트 기준 36.7%), 이로 인해 재현율이 낮다.
• 빈도 기반 방법(TKF)은 종종 포괄적인 핵심 실체를 식별하지 못하며, 예를 들어 '베이지안 반감독 중국어 단어 분할 모델' 대신 '중국어 단어'만 예측하는 등 멘션 분할 문제로 인해 실패한다.
• 공호성 오류는 관계 정확도에 심각한 영향을 미치며, 잘못되거나 관련 없는 실체가 예측된 그래프에 포함되면 높은 거짓 양성 관계 점수를 유발한다.
• TKF에서 예측된 핵심 실체의 평균 멘션 길이는 2.1이며, G2G와 TTG는 각각 2.5로 더 길다. 이는 짧고 분할된 멘션이 핵심 실체로 잘못 분류되기 쉬운 경향이 있음을 시사한다.