[논문 리뷰] ASER: Towards Large-scale Commonsense Knowledge Acquisition via Higher-order Selectional Preference over Eventualities

Hongming Zhang, Xin Liu외 5명|arXiv (Cornell University)|2021. 04. 05.

Natural Language Processing Techniques인용 수 16

한 줄 요약

이 논문은 종속관계 및 논의 분석을 통해 비라벨 텍스트에서 추출한 언어적 사건(사건, 상태, 행동)에 대한 고차원 선택성 선호도를 기반으로 구축된 대규모 공통지식 지식 그래프인 ASER를 소개한다. 언어적 그래프 내 통계적 선호도를 모델링함으로써 ASER는 맥락 기반 공통지식(예: '개가 짖는다'는 표현은 '고양이가 짖는다'보다 훨씬 흔함)을 포착하며, 438만 개의 사건에 대해 6억 4800만 개의 간선을 확보한다. 개념화를 통해 커버리지가 1,500만 개의 개념화된 노드와 2억 2,400만 개의 간선으로 향상된다.

ABSTRACT

Commonsense knowledge acquisition and reasoning have long been a core artificial intelligence problem. However, in the past, there has been a lack of scalable methods to collect commonsense knowledge. In this paper, we propose to develop principles for collecting commonsense knowledge based on selectional preference. We generalize the definition of selectional preference from one-hop linguistic syntactic relations to higher-order relations over linguistic graphs. Unlike previous commonsense knowledge definition (e.g., ConceptNet), selectional preference (SP) knowledge only relies on statistical distribution over linguistic graphs, which can be efficiently and accurately acquired from the unlabeled corpus with modern tools. Following this principle, we develop a large-scale eventuality (a linguistic term covering activity, state, and event)-based knowledge graph ASER, where each eventuality is represented as a dependency graph, and the relation between them is a discourse relation defined in shallow discourse parsing. The higher-order selectional preference over collected linguistic graphs reflects various kinds of commonsense knowledge. Moreover, motivated by the observation that humans understand events by abstracting the observed events to a higher level and can thus transfer their knowledge to new events, we propose a conceptualization module to significantly boost the coverage of ASER. In total, ASER contains 648 million edges between 438 million eventualities. After conceptualization with Probase, a selectional preference based concept-instance relational knowledge base, our concept graph contains 15 million conceptualized eventualities and 224 million edges between them. Detailed analysis is provided to demonstrate its quality. All the collected data, APIs, and tools are available at https://github.com/HKUST-KnowComp/ASER.

연구 동기 및 목표

• 인간 레이블링 또는 전문가가 정제한 지식 기반을 넘어서 공통지식 획득의 확장성 문제를 해결한다.
• ConceptNet와 같은 고정된 삼중관계(예: '사람이 먹는다')의 한계를 극복하기 위해 절대적 사실이 아닌 확률적이고 맥락 민감한 선호도로 공통지식을 모델링한다.
• 언어적 분포 패턴을 기반으로 인과적, 시간적, 수단적 관계를 포착하는 사건 중심의 대규모 지식 그래프를 구축한다.
• Probase를 활용한 개념화를 통해 지식의 추상화 및 일반화를 도모함으로써 미리보지 않은 사건으로의 확장성과 커버리지를 향상시킨다.

제안 방법

• 의존성 파싱 및 구성성 파싱을 사용해 원시 텍스트에서 언어적 사건(사건, 상태, 행동)을 추출하여 이벤트 수준의 의존성 그래프를 구축한다.
• 얕은 논의 파싱을 통해 사건 간의 논의 관계(예: 원인, 결과, 수단)를 식별하여 지식 그래프의 간선을 정의한다.
• 언어적 그래프 간 통계적 공현 패턴을 분석함으로써 고차원 선택성 선호도를 모델링하여 인간 레이블링 없이도 사건 쌍의 타당성을 포착한다.
• Probase를 활용해 특정 사건을 더 포괄적인 개념(예: '개가 짖는다' → '동물이 짖는다')으로 매핑함으로써 일반화 및 커버리지 향상을 도모한다.
• 클라이언트-서버 아키텍처를 갖춘 분산 지식 그래프 시스템을 구축하고, 쿼리 및 ConceptNet 형식으로의 변환을 위한 API를 제공한다.
• 규칙 기반 추론(AMIE+를 통해)과 내재/외재 평가를 통해 확보된 지식의 품질과 유용성을 검증한다.

Figure 1: ASER Demonstration. Eventualities are connected with weighted directed edges. Each eventuality is a dependency graph.

실험 결과

연구 질문

• RQ1 언어적 그래프에 대한 고차원 선택성 선호도를 활용해 인간 레이블링이 없는 관계로 공통지식 획득을 확장할 수 있는가?
• RQ2 비라벨 텍스트의 통계적 패턴이 사건 간 타당한 공통지식 관계(예: 인과성, 시간성)를 얼마나 효과적으로 포착할 수 있는가?
• RQ3 개념화가 공통지식 지식 그래프의 커버리지와 일반화 능력에 얼마나 기여하는가?
• RQ4 특히 추론 작업에서 기존 지식 기반(예: ConceptNet)과 비교해 ASER의 품질과 유용성은 어떠한가?
• RQ5 ASER는 사건 중심의 구조적 표현을 통해 복잡한 추론 작업(예: 대명사 해석, 대화 시스템)을 지원할 수 있는가?

주요 결과

• ASER는 인간 레이블링이 없는 관계로 유도된 438만 개의 사건 간에 총 6억 4800만 개의 간선을 포함한다.
• ASER에서 '개가 짖는다'는 사건은 14,998회 발생하는 반면, '고양이가 짖는다'는 사건은 단 6회 발생하여 공통지식과 일치하는 강한 통계적 선호도를 반영한다.
• 간선 ⟨'배고프다', 원인, '음식을 먹다'⟩는 ASER에 존재하지만 반대 방향은 존재하지 않아, ASER가 타당한 인과 관계를 포착하고 있음을 보여준다.
• Probase를 활용한 개념화 이후 ASER의 개념 그래프는 1,500만 개의 개념화된 사건과 2억 2,400만 개의 간선으로 확장되어 커버리지가 크게 향상되었다.
• 외재적 평가 결과, ASER는 대화 시스템과 같은 후행 작업을 지원하며, 그 성능 향상은 사건 중심의 구조적이고 통계적으로 기반한 구조 덕분으로 기인한다.
• 본 프로젝트는 데이터, API, 도구(ConceptNet 형식으로의 변환 유틸리티 포함)를 오픈소스로 제공하여 광범위한 채택과 통합을 가능하게 한다.

Figure 2: Paper Road Map.