[논문 리뷰] Paragraph-level Commonsense Transformers with Recurrent Memory

Saadia Gabriel, Chandra Bhagavatula외 4명|arXiv (Cornell University)|2020. 10. 04.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 문단 수준의 맥락을 통합함으로써 서사 텍스트에 대해 일관된 공통 지식 추론을 생성하는 논의 인식 기반 트랜스포머 모델인 PARA-COMET을 소개한다. 반복 메모리 구조를 통해 이를 실현한다. COMET과 ATOMIC의 문장 수준 추론을 활용한 원거리 지도 학습을 통해 훈련된 PARA-COMET은 일관성과 신선도를 향상시켜 COMET 대비 모순 추론 비율을 5.57%p 감소시키며, BLEU 점수는 높이고 인간 평가 성능도 향상시켰다.

ABSTRACT

Human understanding of narrative texts requires making commonsense inferences beyond what is stated explicitly in the text. A recent model, COMET, can generate such implicit commonsense inferences along several dimensions such as pre- and post-conditions, motivations, and mental states of the participants. However, COMET was trained on commonsense inferences of short phrases, and is therefore discourse-agnostic. When presented with each sentence of a multi-sentence narrative, it might generate inferences that are inconsistent with the rest of the narrative. We present the task of discourse-aware commonsense inference. Given a sentence within a narrative, the goal is to generate commonsense inferences along predefined dimensions, while maintaining coherence with the rest of the narrative. Such large-scale paragraph-level annotation is hard to get and costly, so we use available sentence-level annotations to efficiently and automatically construct a distantly supervised corpus. Using this corpus, we train PARA-COMET, a discourse-aware model that incorporates paragraph-level information to generate coherent commonsense inferences from narratives. PARA-COMET captures both semantic knowledge pertaining to prior world knowledge, and episodic knowledge involving how current events relate to prior and future events in a narrative. Our results show that PARA-COMET outperforms the sentence-level baselines, particularly in generating inferences that are both coherent and novel.

연구 동기 및 목표

• COMET와 같은 논의 무관 공통 지식 모델의 한계를 해결하기 위해, 서사 맥락을 고려하지 않고 독립적으로 추론을 생성하는 방식을 개선한다.
• 비용이 많이 들지 않는 수동 주석이 필요 없이 확장 가능한 문단 수준의 공통 지식 추론 방법을 개발한다.
• 반복 메모리를 활용해 서사 구조에서의 에피소딕 지식을 통합함으로써 생성된 추론의 일관성과 타당성을 향상시킨다.
• 모델이 전체 서사와 맥락적으로 일관되면서도 새로운 추론을 생성할 수 있도록 한다.

제안 방법

• PARA-COMET은 COMET와 ATOMIC의 문장 수준 추론에서 유도된 원거리 지도 학습 코퍼스에 맞춤형으로 튜닝된 트랜스포머 기반의 시퀀스-투-시퀀스 모델이다.
• 모델은 서사 내 사건들 사이에서 에피소딕 지식을 인코딩하고 유지하기 위해 반복 메모리 메커니즘을 사용한다. 이를 통해 시간적 및 인과적 의존 관계를 추적할 수 있다.
• 원거리 지도 학습은 문장 수준의 추론을 서사 맥락과 정렬함으로써 적용되며, 이는 문단 수준의 일관성에 대한 약한 지도 신호를 생성한다.
• 후보 추론의 가능성에 따라 전체 서사 맥락 내에서의 확률을 기반으로 점수를 매기는 일관성 지표를 도입하여 타당한 추론의 선별을 향상시켰다.
• 모델은 GPT와 GPT-2 아키텍처를 모두 사용하여 훈련되었으며, GPT는 서사 텍스트에서 사전 훈련된 덕분에 더 뛰어난 성능을 보였다.
• 이중 단계 훈련 과정을 사용한다: 먼저 원거리 지도 학습 데이터에 기반한 기본 모델을 튜닝하고, 이후 일관성 기반 손실을 사용해 추가 최적화하여 서사 일관성을 향상시켰다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 모델은 존재하는 지식 기반보다 서사 전체와 일관되면서도 새로운 추론을 생성할 수 있는가?
• RQ2 수동 주석 없이도 문장 수준의 추론을 활용한 원거리 지도 학습이 문단 수준의 논의 인식 능력을 어떻게 효과적으로 유도하는가?
• RQ3 반복 메모리를 통합함으로써 모델이 사건 간 서사 일관성을 유지하는 데 얼마나 기여하는가?
• RQ4 다른 사전 훈련 아키텍처(GPT 대비 GPT-2)는 서사 맥락에서 생성된 추론의 품질과 일관성에 어떤 영향을 미치는가?
• RQ5 최첨단 논의 인식 기반 모델에서도 여전히 지속되는 추론 오류는 어떤 유형이며, 논의 무관 모델과의 오류 유형은 어떻게 다를까?

주요 결과

• PARA-COMET은 자동 평가 지표에서 논의 무관 기반 모델을 능가하며, BLEU-1은 최대 3.33점, BLEU-2는 최대 2.70점 향상되었다.
• 모델은 모순 추론 비율을 COMET의 46.15%에서 40.58%로 감소시켜 서사 맥락과의 일관성 향상을 입증했다.
• PARA-COMET은 더 많은 새로운 추론을 생성했으며, 원래 ATOMIC 지식 그래프에 존재하지 않는 추론 비율이 뚜렷하게 높아, 검색 기반 접근을 초월한 효과적인 일반화 능력을 보였다.
• 개인 서사에 대한 수동 평가에서 49.55%의 추론이 참으로 평가되었고, 20.72%는 타당성 있다고 평가되었으며, 이는 COMET의 유사 지표인 20.72%와 27.03%를 능가하는 성과였다.
• 특히 사회적으로 복잡하고 세밀한 맥락을 포함한 서사에서, 주제에서 벗어나거나 시간적으로 부적절한 추론을 피하는 데 더 효과적이었다.
• 다시 말해, 개선된 성능에도 불구하고 여전히 23%의 추론은 타당성이 없고, 44%는 문단 수준 맥락과 모순되어 있어, 논의 인식 기반 공통 지식 추론의 지속적 과제임을 시사한다.