[논문 리뷰] Event Representation Learning Enhanced with External Commonsense Knowledge

Xiao Ding, Kuo Liao외 3명|arXiv (Cornell University)|2019. 09. 09.

Stock Market Forecasting Methods참고 문헌 26인용 수 5

한 줄 요약

이 논문은 신경 텐서 네트워크를 사용하여 외부 공통 지식인 의도와 감정을 통합함으로써 이벤트 표현을 향상시키는 공동 임베딩 모델을 제안한다. 공유 벡터 공간에서 이벤트, 의도, 감정 임베딩을 동시에 학습함으로써, 이 모델은 이벤트 유사도(하드 케이스에서 78% 향상), 스크립트 이벤트 예측, 주식 시장 변동성 예측에서 최신 기술 수준의 성능을 달성하여 정서 상태 지식이 미세한 수준의 이벤트 이해에 있어 가치가 있음을 입증한다.

ABSTRACT

Prior work has proposed effective methods to learn event representations that can capture syntactic and semantic information over text corpus, demonstrating their effectiveness for downstream tasks such as script event prediction. On the other hand, events extracted from raw texts lacks of commonsense knowledge, such as the intents and emotions of the event participants, which are useful for distinguishing event pairs when there are only subtle differences in their surface realizations. To address this issue, this paper proposes to leverage external commonsense knowledge about the intent and sentiment of the event. Experiments on three event-related tasks, i.e., event similarity, script event prediction and stock market prediction, show that our model obtains much better event embeddings for the tasks, achieving 78% improvements on hard similarity task, yielding more precise inferences on subsequent events under given contexts, and better accuracies in predicting the volatilities of the stock market.

연구 동기 및 목표

• 기존 이벤트 표현 모델이 고도로 유사한 어휘적 중복이 존재함에도 불구하고 미묘한 의미적 차이를 구분하지 못하는 한계를 해결하기 위해.
• 특히 이벤트 참가자의 의도와 감정과 같은 외부 공통 지식을 이벤트 표현 학습에 통합하기 위해.
• 더 풍부하고 세밀한 이벤트 임베딩을 통해 이벤트 유사도, 스크립트 이벤트 예측, 주식 시장 예측과 같은 후행 NLP 작업의 성능을 향상시키기 위해.
• 정서 상태 정보(의도 및 감정)가 이벤트 임베딩의 분류 능력을 상당히 향상시킨다는 것을 입증하기 위해.

제안 방법

• 주어진 주어-서술어-목적어 삼항조합에서 기초 이벤트 임베딩을 학습하기 위해 신경 텐서 네트워크(NTN)를 사용한다.
• 이벤트, 의도, 감정을 공유 벡터 공간에 매핑하는 공동 임베딩 프레임워크를 도입한다.
• 학습 중에 의도와 감정에 대한 감독 신호를 통합하여 이벤트 표현 학습을 이끄는 새로운 손실 함수를 정의한다.
• 일반화 능력을 향상시키기 위해 훈련 중에 이벤트 트리플과 의도-감정 쌍을 음성 샘플링을 통해 손상시킨다.
• Event2Mind와 ATOMIC과 같은 외부 지식 기반을 활용하여 훈련을 위한 주석이 달린 의도 및 감정 레이블을 확보한다.
• 대비 학습과 텐서 조합을 조합하여 의미적 상호작용을 포착하는 방식으로 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 의도와 감정에 대한 공통 지식을 통합하면 이벤트 임베딩의 분류 능력이 향상되는가?
• RQ2 의미적 차이가 있지만 어휘적 중복도 높은 경우, 외부 정서 상태 지식은 이벤트 유사도 작업 성능에 어떤 영향을 미치는가?
• RQ3 의도와 감정을 강화한 이벤트 표현은 어느 정도 스크립트 이벤트 예측 및 주식 시장 변동성 예측 성능을 향상시키는가?
• RQ4 이벤트, 의도, 감정의 공동 학습은 표면적 텍스트 특징에 의존하는 모델보다 더 나은 일반화 능력을 제공하는가?

주요 결과

• 제안된 모델은 하드 유사도 작업에서 78% 향상되어 기준 모델을 크게 앞서 간다.
• 대규모 유사도 데이터셋에서는 200% 향상되어 미세한 의미적 차이를 구분하는 데 강력한 일반화 능력을 보여준다.
• 스크립트 이벤트 예측에서 모델은 맥락 내에서 후속 이벤트를 더 정밀하게 추론할 수 있도록 성능을 향상시켰다.
• 주식 시장 예측에서는 감정 지식 통합으로 기준 방법 대비 2.4%p의 절대 정확도 향상을 달성했다.
• 의도와 감정 감독을 통한 공동 임베딩 프레임워크는 모든 세 가지 후행 작업에서 최신 기술 수준의 기준 모델을 일관되게 능가한다.
• 결과는 참가자의 정서 상태에 대한 공통 지식이 고품질의 분류 능력을 갖춘 이벤트 표현을 학습하는 데 핵심적이라는 점을 확인한다.