[논문 리뷰] LearnDA: Learnable Knowledge-Guided Data Augmentation for Event Causality Identification

Xinyu Zuo, Pengfei Cao외 5명|arXiv (Cornell University)|2021. 06. 03.

Topic Modeling참고 문헌 49인용 수 7

한 줄 요약

이 논문은 이벤트 인과성 식별(ECI)를 위한 학습 가능한 지식 유도형 데이터 증강 프레임워크인 LearnDA를 제안한다. 이는 이중 학습을 통해 작업에 특화되고 인과적으로 타당하며 잘 구성된 문장을 반복적으로 생성한다. 외부 지식 기반 시스템과 함께 문장 생성과 인과성 분류를 동시에 최적화함으로써, EventStoryLine과 Causal-TimeBank에서 각각 F1 점수를 +2.5와 +2.1 향상시켜 기존 증강 방법을 능가한다.

ABSTRACT

Modern models for event causality identification (ECI) are mainly based on supervised learning, which are prone to the data lacking problem. Unfortunately, the existing NLP-related augmentation methods cannot directly produce the available data required for this task. To solve the data lacking problem, we introduce a new approach to augment training data for event causality identification, by iteratively generating new examples and classifying event causality in a dual learning framework. On the one hand, our approach is knowledge-guided, which can leverage existing knowledge bases to generate well-formed new sentences. On the other hand, our approach employs a dual mechanism, which is a learnable augmentation framework and can interactively adjust the generation process to generate task-related sentences. Experimental results on two benchmarks EventStoryLine and Causal-TimeBank show that 1) our method can augment suitable task-related training data for ECI; 2) our method outperforms previous methods on EventStoryLine and Causal-TimeBank (+2.5 and +2.1 points on F1 value respectively).

연구 동기 및 목표

• 작은 주석 데이터셋으로 인해 모델 성능이 제한되는 이벤트 인과성 식별(ECI)의 데이터 부족 문제를 해결한다.
• 생성된 문장에서 인과성과 언어적 품질을 유지하지 못하는 작업 무관형 NLP 데이터 증강 방법의 한계를 극복한다.
• 문장 생성과 인과성 분류 간의 이중성 구조를 모델링함으로써, 작업에 적합하고 고품질의 훈련 데이터를 생성하는 학습 가능한 지식 유도 프레임워크를 개발한다.
• 생성된 문장이 인과적으로 타당하고 잘 구성되어 있음을 보장하며, 적절한 문법, 의미 역할, 그리고 유창한 인과적 표현을 포함한다.
• 지식 통합과 함께 상호작용적인 이중 학습이 기존 방법보다 더 효과적인 데이터 증강을 이끌어내는지 입증한다.

제안 방법

• LearnDA는 이벤트 인과성 식별(분류)과 문장 생성(생성)을 이중 작업으로 모델링하는 이중 학습 프레임워크를 사용한다.
• 외부 지식 기반 시스템을 활용해 유효한 인과적 이벤트 쌍(예: 공격 → 사망)을 통합함으로써 초기 생성 과정을 안내하여 인과성을 확보한다.
• 제약 조건이 부여된 생성 아키텍처가 주어진 이벤트와 실체를 유지하면서도 빈칸을 메우는 공명어(예: '왜냐하면', '그러므로')를 반복적으로 보완함으로써 문장의 잘 구성됨을 향상시킨다.
• 생성기와 분류기가 상호 반복적으로 상호작용한다: 분류기가 생성된 문장의 인과성을 평가하고, 피드백을 통해 생성기가 향후 출력을 개선하도록 유도한다.
• 지식 기반 초기화는 생성된 문장이 실제 인과 관계에 기반하도록 보장하며, 이중 학습은 두 구성 요소의 종단 간 최적화를 가능하게 한다.
• 인과성, 잘 구성됨, 다양성에 대해 자동(BLEU) 및 수동(4점 척도) 평가 지표를 사용해 방법을 평가한다.

실험 결과

연구 질문

• RQ1 인과성 식별과 문장 생성을 동시에 학습하는 데이터 증강 프레임워크가 작업 무관형 방법보다 ECI를 위한 더 높은 품질의 훈련 데이터를 생성할 수 있는가?
• RQ2 지식 기반 초기화가 ECI에서 생성된 문장의 인과성과 잘 구성됨 수준에 얼마나 기여하는가?
• RQ3 이중 학습이 생성된 문장과 목표 ECI 작업 간의 일치도를 어떻게 향상시키는가?
• RQ4 EDA, 백트랜스레이션, 텍스트 서피스 방법과 비교해 제안된 프레임워크가 더 다양한 의미적으로 정확한 인과 문장을 생성하는가?
• RQ5 제한된 훈련 데이터를 증강하는 데 사용했을 때, 이 프레임워크가 후행 ECI 성능을 향상시킬 수 있는가?

주요 결과

• LearnDA는 두 개의 벤치마크 데이터셋에서 최고 성능을 기록하여, EventStoryLine에서 F1 점수를 +2.5, Causal-TimeBank에서 +2.1 향상시켰다.
• 수동 평가 결과, LearnDA가 생성한 문장은 인과성에서 3.60점, 잘 구성됨에서 3.64점의 평점을 기록했으며, EDA(3.20 및 2.75점)와 백트랜스레이션(3.70 및 3.83점)을 크게 앞서나갔다.
• LearnDA가 생성한 문장의 BLEU 점수는 수동 다양성 3.51점과 자동 다양성 0.66점으로, 품질을 유지하면서도 높은 다양성을 보였다.
• F1 점수와 수동 평가 모두에서 LearnDA는 EDA, 백트랜스레이션, 텍스트 서피스 방법을 뛰어넘었으며, 0.05 수준에서 유의미한 향상이 있었다.
• 이중 학습 메커니즘은 생성기와 분류기 간 피드백 루프를 가능하게 하여 더 정확하고 작업에 적합한 데이터를 생성하는 데 기여했다.
• 외부 지식 기반 시스템(KB)에서의 지식 통합은 문장의 인과성 향상에 크게 기여했으며, 더 높은 수동 평가 점수와 더 나은 후행 성능으로 입증되었다.