[논문 리뷰] An Embarrassingly Simple Model for Dialogue Relation Extraction

Fuzhao Xue, Aixin Sun외 3명|arXiv (Cornell University)|2020. 12. 27.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 대화 관계 추출을 위한 경량이면서도 효과적인 모델인 SimpleRE를 제안한다. 이 모델은 대화 내 다수의 엔티티 쌍 간 상호관계를 포착하기 위해 다중 [CLS] 토큰을 사용하는 새로운 BERT 관계 토큰 시퀀스(BRS)를 활용한다. 관계 정밀화 게이트(RRG)는 관계별 표현을 적응적으로 개선하여, 이전 BERT 기반 방법들보다 훨씬 빠른 훈련 속도를 기록하면서도 최신 기준 F1 스코어를 달성한다.

ABSTRACT

Dialogue relation extraction (RE) is to predict the relation type of two entities mentioned in a dialogue. In this paper, we propose a simple yet effective model named SimpleRE for the RE task. SimpleRE captures the interrelations among multiple relations in a dialogue through a novel input format named BERT Relation Token Sequence (BRS). In BRS, multiple [CLS] tokens are used to capture possible relations between different pairs of entities mentioned in the dialogue. A Relation Refinement Gate (RRG) is then designed to extract relation-specific semantic representation in an adaptive manner. Experiments on the DialogRE dataset show that SimpleRE achieves the best performance, with much shorter training time. Further, SimpleRE outperforms all direct baselines on sentence-level RE without using external resources.

연구 동기 및 목표

• 대화 텍스트에서 다수의 관계 간 상호관계를 모델링하는 데 도전하는 문제를 해결하기 위해.
• 복잡한 구조(예: 그래프 네트워크) 없이 BERT의 강점을 활용하는 단순하면서도 효과적인 아키텍처를 설계하기 위해.
• 기존 BERT 기반 모델 대비 성능을 유지하거나 향상시키면서도 훈련 시간을 단축시키기 위해.
• 외부 지식 없이도 일반화 능력을 입증하기 위해 문장 수준의 관계 추출 작업에 모델을 적응시키기 위해.

제안 방법

• 각 엔티티 쌍 앞에 [CLS] 토큰을 다수 배치한 수정된 입력 형식인 BERT 관계 토큰 시퀀스(BRS)를 도입하여 관계별 표현을 인코딩한다.
• 첫 번째 [CLS] 토큰(h₀)은 전체 대화 맥락을 나타내고, 이후의 [CLS] 토큰들(hᵣᵢ)은 각 엔티티 쌍에 대한 관계별 의미를 인코딩한다.
• 관계 정밀화 게이트(RRG)를 적용하여 h₀와 hᵣᵢ를 연결하고, 시그모이드 활성화를 가지는 단일층 피드포워드 네트워크를 통해 처리한 후 예측에 대한 신뢰도 점수를 계산하여 관계 예측을 게이팅한다.
• 게이팅된 표현에 선형 분류기를 적용하여 관계 분류를 수행하며, 문장 수준의 RE에서는 소프트맥스를 사용한다.
• BRS의 [CLS] 토큰 배치와 RRG 모듈의 중요성을 평가하기 위해 아블레이션 변형(BRS-v2, BRS-v3)을 설계한다.
• 문장 수준의 RE에 모델을 적응시키기 위해 BRS를 문장당 하나의 [CLS]만 포함하도록 단순화하고, 단일 관계 설정으로 인해 RRG를 제거한다.

실험 결과

연구 질문

• RQ1 BERT 입력의 단순한 재형식화(BRS)가 대화 내 다수의 관계 간 상호관계를 효과적으로 모델링할 수 있는가?
• RQ2 제안된 관계 정밀화 게이트(RRG)가 성능 향상을 이끄는 방식으로 관계 표현 학습을 향상시키는가?
• RQ3 DialogRE 데이터셋에서 SimpleRE의 성능은 BERTs 및 GDPNet과 같은 강력한 베이스라인과 비교해 어떻게 되는가?
• RQ4 외부 지식 없이도 SimpleRE 프레임워크가 문장 수준의 관계 추출에 효과적으로 적응될 수 있는가?
• RQ5 아블레이션 연구를 통해 각 구성 요소(BRS, RRG, h₀, hᵣ)가 최종 성능에 기여하는 정도는 어떠한가?

주요 결과

• SimpleRE는 모든 BERT 기반 모델 중에서 DialogRE 데이터셋에서 가장 높은 F1 스코어를 기록했으며, BERTs 및 GDPNet을 크게 앞서 갔다.
• 모델은 BERTs 및 GDPNet보다 최소 5배 빠른 속도로 훈련되어 뚜렷한 효율성 향상을 보였다.
• 아블레이션 연구에서 두 번째 [CLS] 토큰(관계 표현에 사용)를 제거할 경우 F1이 1.1% 감소함으로써 그 중요성을 확인했다.
• 관계 표현 hᵣ만 사용할 경우 성능은 70.0 F1으로 떨어지고, 맥락 표현 h₀만 사용할 경우 70.6 F1로 떨어지며, 두 구성 요소 모두 필수적임을 입증했다.
• TACRED 및 TACRED-Revisit 데이터셋에서 SimpleRE는 각각 71.7과 80.7 F1을 기록하여, 외부 지식을 사용하는 KnowBERT를 포함한 모든 직접적 기준 모델을 능가했다.
• BRS-v2 및 BRS-v3 변형은 [SEP]를 사용해 [CLS] 토큰의 위치를 재배치한 것으로, 성능이 크게 저하되어 각각 62.8 및 63.5 F1로 나타나, [CLS] 토큰의 위치 민감도가 매우 중요함을 시사했다.