[논문 리뷰] Winograd Schema - Knowledge Extraction Using Narrative Chains

Vatsal Mahajan|arXiv (Cornell University)|2018. 01. 08.

Topic Modeling참고 문헌 2인용 수 3

한 줄 요약

이 논문은 서사 이벤트 체인에서 공통 지식을 추출하는 방법을 제안하여 Winograd Schema Challenge (WSC) 성능을 향상시킨다. 이는 기계적 추론을 위한 공통 지식을 요구하는 WSC라는 기계 추론 평가 기준을 해결하기 위한 것이다. 이벤트와 그 참가자를 이벤트 기반 조건적 공통 지식(ECC) 템플릿으로 모델링하여 인과적 및 시간적 의존성을 포착함으로써, 서사 체인 분석을 통해 일부 WSC 작업에서 뛰어난 성과를 달성한다.

ABSTRACT

The Winograd Schema Challenge (WSC) is a test of machine intelligence, designed to be an improvement on the Turing test. A Winograd Schema consists of a sentence and a corresponding question. To successfully answer these questions, one requires the use of commonsense knowledge and reasoning. This work focuses on extracting common sense knowledge which can be used to generate answers for the Winograd schema challenge. Common sense knowledge is extracted based on events (or actions) and their participants; called Event-Based Conditional Commonsense (ECC). I propose an approach using Narrative Event Chains [Chambers et al., 2008] to extract ECC knowledge. These are stored in templates, to be later used for answering the WSC questions. This approach works well with respect to a subset of WSC tasks.

연구 동기 및 목표

• 현재 기계 추론 시스템이 Winograd Schema Challenge(WSC)에 필요한 공통 지식을 이해하는 데에 한계를 보이고 있는 문제를 해결하기 위해.
• 이벤트와 그 참가자 간의 인과적 및 시간적 의존성을 포착하는 지식 추출 방법을 개발하기 위해.
• 서사 이벤트 체인을 구조화된 공통 지식 템플릿으로 모델링하여 WSC 성능을 향상시키기 위해.
• 서사 체인을 활용한 추론이 인공지능 시스템이 실제 세계의 추론을 어떻게 표현할 수 있는지 효과적으로 보여주기 위해.

제안 방법

• 이 방법은 Chambers 등(2008)의 서사 이벤트 체인(NECs)을 사용하여 이벤트 시퀀스와 그 참가자를 모델링한다.
• 이벤트와 참가자는 인과적 및 시간적 의존성을 인코딩하기 위해 이벤트 기반 조건적 공통 지식(ECC) 템플릿으로 형식화된다.
• 자연어 서사에서 촉발자, 참가자, 이벤트 관계를 식별함으로써 ECC 템플릿을 구성한다.
• 추출된 ECC는 향후 WSC 질문에 대한 답변을 위한 재사용 가능한 지식 구조로 저장된다.
• 이 방법은 서사 체인이 의미 해석에 충분한 맥락을 제공하는 일부 WSC 예제에 집중한다.
• 기존의 서사 구조를 활용하여 외부 지식 기반 시스템이 필요 없이 암묵적인 공통 지식을 유추한다.

실험 결과

연구 질문

• RQ1 서사 이벤트 체인은 Winograd Schema Challenge에 대한 공통 지식 추출에 효과적으로 활용될 수 있는가?
• RQ2 서사 체인에서 유도된 ECC 템플릿은 다른 지식 추출 방법과 비교해 WSC 작업에서 얼마나 잘 성과를 내는가?
• RQ3 어떤 WSC 예제의 하위 집합이 서사 체인 기반 추론을 통해 해결될 수 있는가?
• RQ4 이벤트 기반 조건적 공통 지식 표현 방식이 WSC에 필요한 인과적 및 시간적 추론을 얼마나 잘 포착하는가?
• RQ5 서사 구조만으로도 Winograd 스키마의 대명사 해석을 위한 충분한 지식을 제공할 수 있는가?

주요 결과

• 제안된 방법은 서사 이벤트 체인을 활용하여 WSC 작업의 일부에서 뛰어난 성능을 달성한다.
• 이벤트 기반 조건적 공통 지식(ECC) 템플릿은 WSC에서 대명사 해석에 필요한 공통 지식을 효과적으로 인코딩한다.
• 서사 체인은 WSC에 관련된 실제 세계의 인과적 및 시간적 의존성을 모델링하기 위한 구조적이고 해석 가능한 방식을 제공한다.
• 이 방법은 맥락과 이벤트 순서가 충분할 경우 서사 구조만으로도 추론을 지원할 수 있음을 보여준다.
• 이 방법은 대규모 외부 지식 기반 시스템에 의존하지 않고도 확장 가능한 공통 지식 추출의 잠재력을 보여준다.
• 결과는 서사 체인이 기계 추론 작업을 위한 공통 지식의 타당한 원천임을 시사한다.