[논문 리뷰] Predicting Directionality in Causal Relations in Text

Pedram Hosseini, David Broniatowski외 1명|arXiv (Cornell University)|2021. 03. 25.

Topic Modeling참고 문헌 38인용 수 8

한 줄 요약

이 논문은 텍스트 내 인과 관계에서 원인-결과 방향성을 예측하기 위해 BERT와 SpanBERT를 평가하며, 긴 스파니드에서 SpanBERT가 BERT를 능가하고, 문장 간 및 암시적 인과 관계는 특히 도전적인 것으로 나타났다. 저자들은 NLP 분야에서 재현 가능성과 벤치마킹을 향상시키기 위해 산산이 흩어진 인과 관계 데이터셋을 통합하는 통합 프레임워크인 CREST를 제안한다.

ABSTRACT

In this work, we test the performance of two bidirectional transformer-based language models, BERT and SpanBERT, on predicting directionality in causal pairs in the textual content. Our preliminary results show that predicting direction for inter-sentence and implicit causal relations is more challenging. And, SpanBERT performs better than BERT on causal samples with longer span length. We also introduce CREST which is a framework for unifying a collection of scattered datasets of causal relations.

연구 동기 및 목표

• 텍스트 내 인과 관계에서 트랜스포머 기반 모델이 원인-결과 방향성을 예측할 수 있는 능력을 평가하는 것.
• 문장 간 및 암시적 인과 관계의 방향성 예측에서 발생하는 과제를 특정하는 것.
• 산산이 흩어진 인과 관계 데이터셋을 통합하여 NLP 연구에서 일관성과 재사용성을 향상시키는 통합 프레임워크를 개발하는 것.
• 사전 학습된 언어 모델을 사용한 향후 인과 방향 예측 연구를 위한 기준을 제공하는 것.

제안 방법

• BERT와 SpanBERT를 두 가지 인과 관계 데이터셋인 ESL(명시적, 짧은 스팬)과 PDTB3(암시적, 긴 스팬)에 대해 미세조정한다.
• 스패너1이 스팬2를 유도하는지 또는 그 반대인지 예측하기 위해 이진 분류 헤드를 사용하며, 방향성을 시퀀스 수준 분류 작업으로 간주한다.
• CREST를 적용하여 다양한 인과 관계 데이터셋의 필드를 공통 형식으로 매핑함으로써 표준화하고 통합한다.
• 학습/검증/테스트 세트 간에 문맥 오버랩을 방지하기 위해 데이터 분할 전략을 구현하여 데이터 泄漏를 방지한다.
• 스패너 경계를 표시하고 주의 집중을 관련 스팬에 향하게 하기 위해 [unused*] 토큰을 입력 표현에 통합한다.
• 특히 문장 간 및 암시적 관계에서 실패하는 경우를 분석하기 위해 오류 분석을 수행한다.

실험 결과

연구 질문

• RQ1 BERT와 SpanBERT는 텍스트 내 인과 관계의 방향성을 얼마나 잘 예측할 수 있는가?
• RQ2 스패너 길이 또는 관계 유형(명시 대 암시, 문내 대 문장 간)과 같은 요소들이 모델 성능에 영향을 미치는가?
• RQ3 통합 프레임워크는 산산이 흩어진 인과 관계 데이터셋 간의 상호운용성과 사용성을 향상시킬 수 있는가?
• RQ4 왜 모델은 문장 간 및 암시적 인과 관계에서 어려움을 겪는가? 그리고 입력 표현은 어떻게 개선될 수 있는가?

주요 결과

• SpanBERT는 스팬이 긴 PDTB3에서 BERT를 능가하며, F1 스코어 0.86을 기록한 반면 BERT는 0.79를 기록했다.
• 스패너가 짧은(1~2단어) ESL에서는 BERT가 SpanBERT보다 성능이 뛰어나 F1 스코어 0.83을 기록한 반면, SpanBERT는 이 데이터셋에서 0.86을 기록했다.
• 문장 간 인과 관계는 분류하기가 더 어려우며, 모델이 장거리 의존성을 포착하지 못하는 경우가 빈번하다.
• 암시적 인과 관계는 명시적 인과 접속사를 갖지 않기 때문에 모델이 방향성을 유추하기 어려운 중대한 과제를 안고 있다.
• D₂(ESL)에서 모델 수렴 문제를 관찰했으며, 이는 훈련 데이터 크기가 제한되어 있기 때문일 가능성이 높다.
• CREST 프레임워크는 다양한 인과 관계 데이터셋을 공통 스키마로 통합하여 일관된 데이터 처리와 벤치마킹을 가능하게 했다.