[논문 리뷰] ASER: A Large-scale Eventuality Knowledge Graph

Hongming Zhang, Xin Liu외 3명|arXiv (Cornell University)|2019. 05. 01.

Topic Modeling참고 문헌 51인용 수 5

한 줄 요약

이 논문은 110억 토큰 이상의 텍스트에서 의존 구문 분석과 신경 부트스트래핑을 사용하여 추출한 19400만 개의 고유한 사건적 요소와 6400만 개의 관계를 포함하는 대규모 사건적 요소 지식 그래프인 ASER를 소개한다. 이는 Winograd Schema Challenge와 같은 후행 작업에서 뛰어난 성능을 보이며, BERT와 GPT-2와 같은 사전 훈련된 모델을 향상시킨다. BERT+WSCR+ASER는 72.5%의 정확도를 기록한다.

ABSTRACT

Understanding human's language requires complex world knowledge. However, existing large-scale knowledge graphs mainly focus on knowledge about entities while ignoring knowledge about activities, states, or events, which are used to describe how entities or things act in the real world. To fill this gap, we develop ASER (activities, states, events, and their relations), a large-scale eventuality knowledge graph extracted from more than 11-billion-token unstructured textual data. ASER contains 15 relation types belonging to five categories, 194-million unique eventualities, and 64-million unique edges among them. Both intrinsic and extrinsic evaluations demonstrate the quality and effectiveness of ASER.

연구 동기 및 목표

• 활동, 상태, 사건(사건적 요소)에 초점을 맞춘 대규모 지식 그래프의 부족을 해결하기 위해, 이는 공통의 이해력 추론에 필수적이지만 기존 지식 그래프에서 부족하게 표현되고 있다.
• 수동적 애너테이션이나 복잡한 의미 역할 레이블링에 의존하지 않고, 비정형 텍스트에서 사건적 요소 중심의 지식을 자동으로 추출할 수 있는 확장 가능한 방법을 개발하기 위해.
• 언어학적으로 기반을 둔 패턴을 사용하여 사건적 요소 간의 다양한 관계 유형(예: 인과, 시간, 조건)을 포괄하는 지식 그래프를 구축하기 위해.
• Winograd Schema Challenge와 같은 후행 NLP 작업에서의 응용을 통해 ASER의 품질과 유용성을 내재적 평가와 외재적 응용을 통해 평가하기 위해.
• 사전 훈련된 언어 모델의 아키텍처 변경 없이도 ASER가 최신 언어 모델의 공통의 이해력 추론 능력을 향상시킬 수 있음을 입증하여 실용적 가치를 입증하기 위해.

제안 방법

• 의존 구문 분석을 사용하여 비정형 텍스트에서 사건적 요소를 추출하고, 각 문법적 의존성 하위그래프를 기본 사건적 요소 단위로 간주한다.
• 펜 니시드라 트리뱅크(PDTB)에서 유의미한 논의 연결어를 추출하여 사건적 요소 간의 관계를 시드로 활용하며, 인과, 대조, 조건 등의 관계를 포착한다.
• 신경 부트스트래핑 프레임워크를 적용하여 텍스트에서 새로운 관계 패턴을 식별함으로써 반복적으로 관계 집합을 확장함으로써 커버리지와 일반화 능력을 향상시킨다.
• 각 사건적 요소를 노드로, 관계를 가중치가 부여된 방향성 간선으로 표현하며, 15개의 관계 유형을 5개의 카테고리(예: 인과, 시간, 대조)로 분류한다.
• 수득된 ASER 그래프를 사전 훈련된 언어 모델(예: BERT, GPT-2)의 외부 지식 소스로 활용하여 후행 추론 작업에서 성능을 향상시킨다.
• 모델 아키텍처의 미세조정 없이도, 입력 컨텍스트와 ASER 사실을 문자열 매칭 및 지식 주입을 통해 일치시켜, Winograd Schema Challenge와 같은 작업에서의 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 의존 구조 패턴과 최소한의 언어학적 애너테이션을 사용하여 비정형 텍스트에서 자동으로 대규모 사건적 요소 중심 지식 그래프를 구축할 수 있는가?
• RQ2 기존 지식 기반과 비교할 때 ASER는 활동, 상태, 사건 간의 다양한 언어학적으로 기반을 둔 관계를 얼마나 효과적으로 포착하는가?
• RQ3 ASER는 Winograd Schema Challenge와 같은 공통의 이해력 추론 작업에서 사전 훈련된 언어 모델의 성능을 얼마나 향상시킬 수 있는가?
• RQ4 모델의 미세조정 없이도 외부 지식 소스로 ASER를 사용할 경우, 후행 NLP 작업에 어떤 영향을 미치는가?
• RQ5 내재적 및 외재적 평가 지표 측면에서 기존 지식 기반과 비교할 때 ASER의 커버리지와 품질은 어떻게 비교되는가?

주요 결과

• ASER는 19400만 개의 고유한 사건적 요소와 6400만 개의 간선을 포함하며, 5개의 카테고리에 속하는 15개의 관계 유형을 포함하여 알려진 바에 비해 가장 큰 사건적 요소 중심 지식 그래프이다.
• 내재적 평가 결과, 신경 부트스트래핑을 통한 관계 탐지에서 높은 정밀도를 확보하여 추출된 관계의 품질이 확인되었다.
• 외재적 평가 결과, ASER는 Winograd Schema Challenge에서 성능 향상을 크게 이끌어내었다: BERT+WSCR+ASER는 72.5%의 정확도를 기록하여 BERT+WSCR(71.4%)와 BERT(64.5%)를 초월했다.
• 단순한 문자열 매칭을 사용함에도 불구하고 ASER는 기준 모델의 성능을 향상시켜, 아키텍처 변경 없이도 공통의 이해력 추론에서 실용적인 유용성을 입증했다.
• ASER 지식의 추가로 BERT+WSCR의 정확도는 71.4%에서 72.5%로 상승했으며, 이는 ASER가 사전 훈련 과정에서 모델이 학습하는 것 외에도 유의미하고 실용적인 지식을 제공한다는 것을 입증한다.
• 모델 성능 향상은 다양한 설정에서 일관되게 나타나, ASER의 지식이 다양한 NLP 작업에 걸쳐 강력하고 일반화 가능한 특성을 지닌다는 것을 보여준다.