[논문 리뷰] DialBERT: A Hierarchical Pre-Trained Model for Conversation Disentanglement

Tianda Li, Jia-Chen Gu외 5명|arXiv (Cornell University)|2020. 04. 08.

Topic Modeling참고 문헌 28인용 수 19

한 줄 요약

DialBERT는 BERT를 통한 국소적 발화 수준 매칭과 BiLSTM를 통한 전반적 맥락 수준 모델링을 통합함으로써 대화 분리 성능을 향상시키는 계층적 사전학습 모델이다. 파rameter 수가 단지 3% 증가한 수준에서 BERT 대비 F1 점수 12% 향상과 함께 IBM Kummerfeld(2019) 데이터셋에서 새로운 최고 성능을 기록하였으며, 모든 평가 지표에서 이전 모델들을 상당한 격차로 압도하였다.

ABSTRACT

Disentanglement is a problem in which multiple conversations occur in the same channel simultaneously, and the listener should decide which utterance is part of the conversation he will respond to. We propose a new model, named Dialogue BERT (DialBERT), which integrates local and global semantics in a single stream of messages to disentangle the conversations that mixed together. We employ BERT to capture the matching information in each utterance pair at the utterance-level, and use a BiLSTM to aggregate and incorporate the context-level information. With only a 3% increase in parameters, a 12% improvement has been attained in comparison to BERT, based on the F1-Score. The model achieves a state-of-the-art result on the a new dataset proposed by IBM and surpasses previous work by a substantial margin.

연구 동기 및 목표

• 동시에 여러 대화가 발생하는 단일 채널 메시징 환경에서 혼합된 대화를 분리하는 문제에 대응하기 위해.
• 발화 수준 및 맥락 수준의 의미 표현을 통합하여 분리 성능 향상시키기 위해.
• 대화 특화 미세조정을 활용하여 Ubuntu 포럼 도메인에 적합한 도메인 적응형 사전학습 모델 개발하기 위해.
• 새로운 대규모 분리 벤치마크에서 기존 모델을 초월하여 뛰어난 일반화 능력과 강건성을 입증하기 위해.

제안 방법

• 모델은 BERT를 사용하여 발화 수준에서 후보 메시지 쌍 간의 국소적 의미 매칭을 계산한다.
• BiLSTM를 적용하여 대화 스트림 내 이전 메시지들의 정보를 집계함으로써 전반적 맥락을 인코딩한다.
• 대화 특화 의미를 적응시키기 위해 마스크 언어 모델링(MLM)과 다음 문장 예측(NSP) 목적함수를 사용하여 Ubuntu 포럼 데이터에서 사전학습을 수행한다.
• 대상 메시지와 맥락 메시지 간의 유사도 점수를 계산하여 올바른 이전 메시지를 식별하며, 가장 높은 점수를 기반으로 예측한다.
• 모델은 메시지를 단일 스트림으로 처리함으로써 국소적 및 전반적 종속성의 엔드 투 엔드 학습을 가능하게 한다.
• 학습 후 앙상블 전략(확률 평균화, 모델 평균화)을 적용하여 성능을 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 국소적 발화 매칭과 전반적 맥락 모델링을 통합한 계층적 사전학습 모델이 표준 BERT보다 대화 분리 성능에서 뛰어나게 되는가?
• RQ2 Ubuntu 포럼 데이터에 대한 도메인 특화 사후학습은 분리 성능 향상에 얼마나 효과적인가?
• RQ3 강력한 사전학습 모델인 DialBERT를 이미 사용할 경우, 언어학적 특징은 성능 향상에 얼마나 기여하는가?
• RQ4 BiLSTM를 통한 맥락 모델링은 분리에 얼마나 필수적인가? 만약 이를 제거하면 어떤 결과가 발생하는가?
• RQ5 새로운 대규모 분리 벤치마크에서 모델은 기존 최고 성능 모델을 초월하여 잘 일반화되는가?

주요 결과

• DialBERT는 표준 BERT 대비 F1 점수에서 12%의 상대적 향상을 기록하였으며, 모든 6개 평가 지표에서 성능 향상을 보였다.
• DialBERT는 IBM Kummerfeld(2019) 분리 데이터셋에서 새로운 최고 성능을 기록하였으며, 이전 모든 모델을 압도적으로 뛰어넘었다.
• Ubuntu 포럼 데이터에서의 사후학습은 성능 향상에 상당한 기여를 하였으며, 파rameter 수 3% 증가로도 뚜렷한 성능 향상이 이루어졌다.
• BiLSTM 레이어를 제거하면 성능이 급격히 떨어지며(F1 점수 43.9% → 32.5%), 이는 맥락 모델링에서 BiLSTM의 핵심적 역할을 확인시킨다.
• DialBERT와 함께 언어학적 특징을 사용할 경우 성능 향상이 미미하여, 모델이 이미 대부분의 관련 의사소통 신호를 충분히 포착하고 있음을 시사한다.
• 모델 평균화 및 확률 평균화 등의 앙상블 방법은 성능을 추가로 향상시키며, 최고의 앙상블은 F1 점수 45.3%를 기록하였다. 다만 여전히 이 작업은 도전적인 과제로 남아 있다.