[논문 리뷰] On the Importance of Word and Sentence Representation Learning in Implicit Discourse Relation Classification

Xin Liu, Jiefu Ou외 2명|arXiv (Cornell University)|2020. 04. 27.

Topic Modeling참고 문헌 33인용 수 4

한 줄 요약

이 논문은 문맥화된 단어 표현, 이원적 다중 시점 매칭, 게이트형 융합을 통합한 새로운 모델인 BMGF-RoBERTa를 제안한다. 이는 암묵적 논리 관계 분류를 향상시키기 위한 것이다. 문단 임베딩을 활용해 '이전-다음' 문맥을 인코딩하고, 다중 헤드 어텐션과 게이트 메커니즘을 조합함으로써, 모델은 최신 기술 수준(SOTA) 성능을 달성하여 PDTB에서 BERT 및 이전 SOTA 시스템보다 약 8% 높고, CoNLL 2016 데이터셋에서 약 16% 높은 성능을 기록한다.

ABSTRACT

Implicit discourse relation classification is one of the most difficult parts in shallow discourse parsing as the relation prediction without explicit connectives requires the language understanding at both the text span level and the sentence level. Previous studies mainly focus on the interactions between two arguments. We argue that a powerful contextualized representation module, a bilateral multi-perspective matching module, and a global information fusion module are all important to implicit discourse analysis. We propose a novel model to combine these modules together. Extensive experiments show that our proposed model outperforms BERT and other state-of-the-art systems on the PDTB dataset by around 8% and CoNLL 2016 datasets around 16%. We also analyze the effectiveness of different modules in the implicit discourse relation classification task and demonstrate how different levels of representation learning can affect the results.

연구 동기 및 목표

• 암묵적 논리 관계 분류의 과제를 해결하기 위해, 명시적인 연결어가 없고 문단 수준 및 문장 수준에서 깊은 문맥 이해가 필요하다.
• 암묵적 관계 분류에 있어 다수준 표현 학습(단어, 문장, 논리 관계 수준)의 중요성을 탐구하기 위해.
• 강력한 표현, 상호작용, 융합 모듈을 통합한 통합 모델을 설계하여 논리 추론 성능을 향상시키기 위해.
• 각 구성 요소(문단 임베딩, 매칭, 융합)가 분류 성능 향상에 기여하는 정도를 체계적으로 평가하기 위해.
• RoBERTa가 작업에 특화된 아키텍처 구성 요소를 갖추면, 표준 벤치마크에서 BERT 및 이전 SOTA 모델을 능가함을 보여주기 위해.

제안 방법

• 모델은 RoBERTa를 문맥화된 인코더로 사용하며, 두 논리적 논거 간의 '이전-다음' 순서를 명시적으로 표현하기 위해 문단 임베딩(SE)을 활용한다.
• 이원적 다중 시점 매칭(BM) 모듈은 특징 엔지니어링 없이도 다양한 시점에서의 논거 간 상호작용을 주의 메커니즘으로 캡처한다.
• 게이트형 정보 융합(GF) 모듈은 다중 헤드 어텐션과 학습 가능한 게이트를 조합하여 두 논거에서 유의미한 특징을 선택적으로 통합한다.
• 두 논거를 특수 분리 토큰으로 연결하여 인코더가 상대적 위치 및 논리적 문맥을 학습할 수 있도록 한다.
• 최종 표현은 다중 클래스 논리 관계 예측을 위한 분류기로 전달되며, 엔드 투 엔드 학습이 수행된다.
• SE, BM, 또는 GF 모듈를 제거하여 제거한 경우의 성능 기여도를 평가하기 위해 탈락 분석(Ablation studies)을 실시한다.

실험 결과

연구 질문

• RQ1 어떤 수준의 표현 학습(단어, 문장, 논리 관계)이 암묵적 논리 관계 분류에 영향을 미치는가?
• RQ2 RoBERTa에서 '이전-다음' 논리 순서를 모델링하기 위해 문단 임베딩이 기여하는 바는 무엇인가?
• RQ3 표준 어텐션 메커니즘과 비교해 이원적 다중 시점 매칭은 논거 간 상호작용을 얼마나 잘 캡처하는가?
• RQ4 기본 어텐션 또는 연결 방식에 비해 게이트형 융합은 특징 통합을 얼마나 향상시키는가?
• RQ5 왜 RoBERTa가 아키텍처 수정 없이 암묵적 관계 분류에서 BERT보다 성능이 열 劣하나, 향상시키기 위해 필수적인 구성 요소는 무엇인가?

주요 결과

• BMGF-RoBERTa는 PDTB-4에서 F1 스코어 59.44를 기록하여 이전 SOTA보다 약 8% 높은 성능을 보였다.
• CoNLL 2016에서, 최고의 이전 시스템 대비 F1 스코어가 약 16% 향상되었다.
• 문단 임베딩(SE)를 제거하면 성능이 크게 떨어지며, 특히 Comp. 및 Temp. 관계에서 두드러진다. 이는 논리 순서를 캡처하는 데 있어 그들의 핵심적 역할을 시사한다.
• 이원적 다중 시점 매칭 및 게이트형 융합 모듈 각각이 크게 기여하며, 제거 시 평균 F1이 9% 이상 감소하는 것으로 나타났다.
• 시아미즈 변형(BMGF-RoBERTa-Siamese)은 SE가 없는 경우에 비해 성능이 열 劣하므로, 별도의 인코딩은 문맥 통합을 제한함을 보여준다.
• 원본 어텐션 이후에 소스 어텐션을 적용하면 PDTB-4에서 성능이 악화되며, 이는 표준 어텐션 메커니즘이 이 작업에 있어서 제안된 BM 및 GF 모듈보다 효과가 떨어짐을 시사한다.