[논문 리뷰] Domain Adaptative Causality Encoder

Farhad Moghimifar, Gholamreza Haffari외 1명|arXiv (Cornell University)|2020. 11. 27.

Topic Modeling참고 문헌 41인용 수 4

한 줄 요약

이 논문은 도메인 적응형 인과성 인코더(ACE)를 제안하며, 의존성 트리 표현과 적대적 학습을 활용하여 분포상으로 다른 도메인 간의 인과 관계 식별 및 국소화를 향상시킨다. MedCaus 데이터셋을 제작하고 기울기 반전을 적용함으로써 ACE는 벤치마크 데이터셋에서 최신 기술 대비 최대 7% 향상된 성능을 달성한다.

ABSTRACT

Current approaches which are mainly based on the extraction of low-level relations among individual events are limited by the shortage of publicly available labelled data. Therefore, the resulting models perform poorly when applied to a distributionally different domain for which labelled data did not exist at the time of training. To overcome this limitation, in this paper, we leverage the characteristics of dependency trees and adversarial learning to address the tasks of adaptive causality identification and localisation. The term adaptive is used since the training and test data come from two distributionally different datasets, which to the best of our knowledge, this work is the first to address. Moreover, we present a new causality dataset, namely MedCaus, which integrates all types of causality in the text. Our experiments on four different benchmark causality datasets demonstrate the superiority of our approach over the existing baselines, by up to 7% improvement, on the tasks of identification and localisation of the causal relations from the text.

연구 동기 및 목표

• 텍스트 인과성 추출에서 발생하는 도메인 이동 문제를 해결하기 위해, 한 도메인(예: 의료)에서 학습된 모델이 다른 도메인(예: 금융)의 데이터에 대해 성능이 떨어지는 문제를 해결한다.
• 문장 내 어휘 간 문법적 및 의미적 의존 관계를 동시에 포착할 수 있는 신경망 모델을 개발하여 더 정확한 인과성 식별 및 국소화를 달성한다.
• 기울기 반전을 활용한 적대적 도메인 적응을 통해 원천 도메인과 대상 도메인 간 분포 차이를 완화한다.
• 모든 인과 관계 유형인 명시적, 암시적, 중첩, 비인과 관계를 포함하는 종합적인 인과 관계 데이터셋인 MedCaus를 구축한다.

제안 방법

• 모델은 문장 내 단어 간 구조적 및 의미적 관계를 포착하기 위해 그래프 컬러이션 네트워크(GCNs)를 사용하여 의존성 트리를 인코딩한다.
• 기울기 반전 레이어를 적용하여 원천 도메인과 대상 도메인의 특징 분포를 일치시켜 학습 중 도메인 이동을 최소화한다.
• 적대적 학습 프레임워크는 인코더가 도메인 불변 표현을 생성하도록 유도하는 도메인 구분자(discriminator)를 포함한다.
• 다중 작업 학습을 통해 인과성 식별(이진 분류)과 인과성 국소화(스팬 추출)를 동시에 최적화한다.
• 의료 문헌에서 유래한 15,000개의 인간 레이블링 문장을 포함하는 MedCaus 데이터셋을 구축하여 명시적, 암시적, 중첩, 비인과 관계를 포함한 모든 인과 관계 유형을 커버한다.
• t-SNE를 활용해 인코더에서 생성된 특징 표현을 시각화하여 ACE 모듈 적용 후 원천 도메인과 대상 도메인 간 특징 분포가 성공적으로 일치함을 확인한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 대상 도메인 데이터에 대해 재학습 없이 한 도메인에서 학습한 인과 모델이 분포상으로 다른 도메인으로 일반화하는 데 효과적인가?
• RQ2 기울기 반전을 활용한 적대적 도메인 적응은 다양한 도메인 간 인과 식별 및 국소화 성능 향상에 얼마나 효과적인가?
• RQ3 표준 순차 모델 대비 의존성 트리 구조를 통합함으로써 인과 탐지 성능 향상은 어느 정도 이루어지는가?
• RQ4 통합된 모델이 공동 학습을 통해 인과 식별 및 국소화 작업 모두에서 뛰어난 성능을 달성할 수 있는가?

주요 결과

• 제안된 ACE 모델은 네 개의 벤치마크 데이터셋에서 기존 베이스라인 대비 인과 관계 식별 및 국소화 작업에서 F1 점수를 최대 7% 향상시켰다.
• 기울기 반전을 통한 도메인 적응은 모델 일반화 능력을 크게 향상시키며, 기존 모델에 적용했을 때 대상 도메인 데이터셋에서 성능 향상이 최대 39%까지 발생했다.
• ACE 모델은 비교 모델 전반에서 가장 높은 재현율과 F1 점수를 기록했으며, CDAN보다 높은 정밀도를 기록한 CDAN과는 달리 두 지표에서 모두 승리했다.
• 정성 분석 결과, 모델은 의료, 금융, 일반 텍스트 등 다양한 도메인에서 인과 관계를 정확히 식별하고 원인-결과 스팬을 정확히 국소화함을 확인했다.
• t-SNE 시각화 결과, ACE 모듈이 원천 도메인과 대상 도메인 간 특징 분포를 성공적으로 일치시켜 도메인 이동을 감소시켰다.
• MedCaus 데이터셋은 중첩 및 암시적 관계를 포함하여 인과 관계 유형의 전반적인 스펙트럼을 효과적으로 포괄하여 더 강력한 학습과 평가를 가능하게 했다.