[논문 리뷰] Acquiring and Modelling Abstract Commonsense Knowledge via Conceptualization

Mutian He, Tianqing Fang외 2명|arXiv (Cornell University)|2022. 06. 03.

Topic Modeling참고 문헌 155인용 수 9

한 줄 요약

이 논문은 ATOMIC에서 유도된 추상적 삼항관계를 생성하고 검증하기 위해 히우리스틱 규칙과 신경망 모델을 조합한 파이프라인을 사용하는 개념화 프레임워크를 제안한다. 이는 일반화 능력을 향상시키기 위해 추상적 공통지식 지식 그래프를 대규모로 구축하며, 실험 결과 추상 삼항관계를 직접적으로 데이터 증강하는 방식이 공통지식 추론 성능을 향상시킴을 보여준다.

ABSTRACT

Conceptualization, or viewing entities and situations as instances of abstract concepts in mind and making inferences based on that, is a vital component in human intelligence for commonsense reasoning. Despite recent progress in artificial intelligence to acquire and model commonsense attributed to neural language models and commonsense knowledge graphs (CKGs), conceptualization is yet to be introduced thoroughly, making current approaches ineffective to cover knowledge about countless diverse entities and situations in the real world. To address the problem, we thoroughly study the role of conceptualization in commonsense reasoning, and formulate a framework to replicate human conceptual induction by acquiring abstract knowledge about events regarding abstract concepts, as well as higher-level triples or inferences upon them. We then apply the framework to ATOMIC, a large-scale human-annotated CKG, aided by the taxonomy Probase. We annotate a dataset on the validity of contextualized conceptualizations from ATOMIC on both event and triple levels, develop a series of heuristic rules based on linguistic features, and train a set of neural models to generate and verify abstract knowledge. Based on these components, a pipeline to acquire abstract knowledge is built. A large abstract CKG upon ATOMIC is then induced, ready to be instantiated to infer about unseen entities or situations. Finally, we empirically show the benefits of augmenting CKGs with abstract knowledge in downstream tasks like commonsense inference and zero-shot commonsense QA.

연구 동기 및 목표

• 기존 공통지식 지식 그래프(CKG)가 구체적 사례에 의존함으로써 다양한 실제 세계의 실체와 상황을 커버하지 못하는 한계를 해결한다.
• 구체적 사건과 관계로부터 추상 개념을 모델링하여 인간과 유사한 개념 유도를 재현한다.
• 언어적 특징과 사전 학습된 언어 모델을 활용해 ATOMIC과 같은 기존 CKG에서 추상 지식을 생성하고 검증할 수 있는 확장 가능한 파이프라인을 개발한다.
• 미리 정의되지 않은 실체와 상황에 대해서도 추론이 가능하도록 개념적 인스턴스화를 통해 추상 공통지식 지식 그래프를 구축한다.
• 추상 삼항관계가 데이터 증강을 통해 최종 공통지식 추론 작업에서의 유용성을 입증한다.

제안 방법

• ATOMIC 내의 구체적 실체와 사건들에 기반한 추상 개념을 식별하기 위해 Probase를 개념 분류 체계로 활용한다.
• 의존성 트리 패턴, 단어 조각 등 언어적 특징을 바탕으로 한 히우리스틱 규칙을 설계 및 적용하여 후보 개념화를 생성한다.
• 1,000개 이상의 사건 수준 및 삼항관계 수준의 개념화 유효성 판단을 새롭게 애너테이션한 데이터셋을 기반으로 신경망 모델을 훈련하여 타당한 추상화를 예측한다.
• 히우리스틱 규칙과 신경망 예측 결과를 통합하여 ATOMIC 삼항관계를 추상 형태로 종단 간 개념화하는 파이프라인을 구성한다.
• 파이프라인을 ATOMIC의 모든 삼항관계에 적용하여 대규모 추상 공통지식 지식 그래프를 유도함으로써 미리 보지 못한 인스턴스로의 일반화를 가능하게 한다.
• 추상 지식의 영향을 평가하기 위해 최종 공통지식 모델링 작업에서 추상 삼항관계를 학습 데이터에 직접 추가하여 성능을 측정한다.

실험 결과

연구 질문

• RQ1 구체적 사례를 초월해 추상 개념을 통한 개념화가 공통지식 지식 그래프의 일반화 능력을 향상시키는가?
• RQ2 히우리스틱 규칙과 신경망 모델이 구체적 사건과 관계의 타당한 개념화를 식별하는 데 얼마나 효과적인가?
• RQ3 학습 데이터에 추상 삼항관계를 통합할 경우 공통지식 추론 벤치마크 성능 향상 정도는 어떠한가?
• RQ4 이 프레임워크는 부정, 모odal성, 그룹화된 개념 등 다양한 언어적 형태를 어떻게 처리하는가?
• RQ5 유도된 추상 지식 그래프가 이전에 보지 못한 실체와 상황에 대해 추론을 지원할 수 있는가?

주요 결과

• 제안된 파이프라인은 히우리스틱 규칙과 미세조정된 신경망 모델의 조합을 통해 ATOMIC 삼항관계에 대한 추상 개념화를 성공적으로 생성하고 검증한다.
• 유도된 추상 공통지식 지식 그래프는 기존 CKG보다 훨씬 더 많은 개념을 커버한다—DISCOS에서 8.00%의 개념 커버리지 비율을 기록했으며, ATOMIC-2020의 0.76%에 비해 높은 성능을 보였다.
• 실험 결과, 추상 삼항관계를 직접적으로 학습 데이터에 추가함으로써 공통지식 모델링 작업의 성능 향상이 확인되었다.
• 프레임워크는 부정, 모달성, 그룹 개념 등 미묘한 언어적 특징 처리에 한계를 보이며, 향후 개선 여지가 있음을 시사한다.
• 추상 지식 그래프를 통해 기존 CKG에 삼항관계가 없는 새로운 실체(예: 'PersonX gets chickenpox')에 대해서도 효과적인 인스턴스화를 통해 추론이 가능하다.
• 일부 애너테이션 오류가 존재하더라도, 파이프라인은 다양한 실제 세계의 사건들로부터 일반화 가능한 추상 지식을 효과적으로 생성함을 입증했다.