[논문 리뷰] Commonsense Knowledge Enhanced Embeddings for Solving Pronoun Disambiguation Problems in Winograd Schema Challenge

Quan Liu, Hui Jiang외 4명|arXiv (Cornell University)|2016. 11. 13.

Topic Modeling참고 문헌 21인용 수 13

한 줄 요약

이 논문은 단어 임베딩 학습에 ConceptNet, WordNet, CauseCom에서 유래한 공통 지식을 통합하여 Winograd Schema Challenge의 PDP 과제에서 대명사 해석을 향상시키기 위해 공통 지식을 통합한 임베딩(KEE)을 제안한다. 유사도 기반의 비지도 학습과 신경망 기반 지식 활성화를 조합한 하이브리드 접근 방식을 통해 PDP 과제에서 66.7%의 새로운 최고 성능 정확도를 달성한다.

ABSTRACT

In this paper, we propose commonsense knowledge enhanced embeddings (KEE) for solving the Pronoun Disambiguation Problems (PDP). The PDP task we investigate in this paper is a complex coreference resolution task which requires the utilization of commonsense knowledge. This task is a standard first round test set in the 2016 Winograd Schema Challenge. In this task, traditional linguistic features that are useful for coreference resolution, e.g. context and gender information, are no longer effective anymore. Therefore, the KEE models are proposed to provide a general framework to make use of commonsense knowledge for solving the PDP problems. Since the PDP task doesn't have training data, the KEE models would be used during the unsupervised feature extraction process. To evaluate the effectiveness of the KEE models, we propose to incorporate various commonsense knowledge bases, including ConceptNet, WordNet, and CauseCom, into the KEE training process. We achieved the best performance by applying the proposed methods to the 2016 Winograd Schema Challenge. In addition, experiments conducted on the standard PDP task indicate that, the proposed KEE models could solve the PDP problems by achieving 66.7% accuracy, which is a new state-of-the-art performance.

연구 동기 및 목표

• 기존 언어적 특징가 부족한 선택 제약 조건과 문법적 신호로 인해 실패하는 Winograd Schema Challenge에서의 대명사 해석 문제를 해결한다.
• PDP 과제에서 학습 데이터가 부족한 점을 보완하기 위해 외부 공통 지식 기반을 활용하여 비지도 특징 학습을 유도한다.
• 분산 단어 임베딩에 공통 지식을 유연하게 통합할 수 있는 프레임워크를 개발하여 핵심 참조 해결 성능을 향상시킨다.
• 지식 기반 표현을 통해 랜덤 추측과 기본 시스템을 초월한 PDP 벤치마크 성능 향상을 달성한다.
• 다양한 지식 기반을 체계적으로 통합함으로써 공식 2016년 Winograd Schema Challenge 테스트 세트에서 최고 성능을 달성한다.

제안 방법

• 공통 지식 기반(ConceptNet, WordNet, CauseCom)에서 유도된 지도 학습을 통해 의미적 및 공통 지식 제약 조건을 포함한 KEE 모델을 학습한다.
• 문맥 인식형 단어 임베딩 조합을 사용하여 PDP 문제에서 대명사와 후행 첨자 후보를 표현한다.
• KEE 표현 간 코사인 유사도를 기반으로 비지도 유사도 기반 순위 매기기(USSM)를 적용하여 후행 첨자 후보를 순위 매긴다.
• KEE에서 추출한 특징을 기반으로 학습된 신경망 분류기를 사용한 신경 지식 활성화 방법(NKAM)을 구현하여 해석 정확도를 향상시킨다.
• 유사도 기반과 학습된 분류 기반의 장점을 활용하기 위해 USSM과 NKAM을 하이브리드 시스템(USSM+NKAM)으로 조합한다.
• 다양한 지식 기반에서 유래한 지식을 통합하면서 위키백과 코퍼스에서 KEE 모델을 미세 조정하여 일반화 및 강인성을 향상시킨다.

실험 결과

연구 질문

• RQ1 외부 지식 기반에서 유도한 공통 지식이 분산 단어 임베딩에 효과적으로 통합되어 대명사 해석 성능을 향상시킬 수 있는가?
• RQ2 ConceptNet, WordNet, CauseCom와 같은 다수의 지식 기반 통합이 PDP 과제 성능에 어떤 영향을 미치는가?
• RQ3 단지 문맥 정보에 의존하는 기존 시스템과 비교해 본다면, 제안된 KEE 프레임워크가 공통 지식 감독 없이도 성능을 뛰어넘을 수 있는가?
• RQ4 비지도 유사도 기반과 신경망 분류 기반의 하이브리드 접근 방식이 해석 정확도를 추가로 향상시킬 수 있는가?
• RQ5 지식 기반 임베딩을 사용할 경우, PDP 벤치마크에서 달성 가능한 성능의 상한선은 무엇인가?

주요 결과

• 제안된 KEE 프레임워크는 위키백과 코퍼스와 복수 지식 기반 통합 기반 접근 방식을 사용하여 PDP 과제에서 66.7%의 새로운 최고 성능 정확도를 달성한다.
• 모든 지식 기반을 통합한 최고 성능 시스템인 USSM+NKAM는 66.7%의 정확도를 기록하여, 단지 문맥 정보만을 사용하는 기준 시스템(53.3%)을 크게 앞서며 성능을 높였다.
• CauseCom 지식 통합이 가장 큰 성능 향상을 가져왔으며, 이는 문맥 전용 기준 시스템 대비 21.9%의 정확도 향상으로 나타났다.
• ConceptNet, WordNet, CauseCom의 세 가지 지식 기반을 모두 통합한 조합이 가장 높은 성능을 기록하여 다양한 공통 지식 소스가 상호 보완적임을 확인했다.
• 공식 2016년 Winograd Schema Challenge에서 58.3%의 정확도를 기록하여 모든 제출 사례 중에서 가장 높은 성능을 달성하여 실제 적용 가능성도 입증했다.
• CBTest 및 위키백과 기반 학습 코퍼스에서 모두 일관된 성능 향상을 입증하였으며, 위키백과 기반 학습에서 최고 성능 시스템은 문맥 전용 기준 시스템 대비 25.1%포인트의 정확도 향상을 달성했다.