[논문 리뷰] Improving Dialogue Breakdown Detection with Semi-Supervised Learning

Nathan Ng, Marzyeh Ghassemi외 3명|arXiv (Cornell University)|2020. 10. 30.

Topic Modeling참고 문헌 18인용 수 9

한 줄 요약

이 논문은 대화 붕괴 탐지 성능을 향상시키기 위해 반감독 학습 기법—Reddit 데이터에서의 계속된 미세조정 및 자기지도 기반 다양체 기반 데이터 증강(이하 SSMBA)—을 제안한다. 이 방법들은 DBDC5 공동 과제에서 베이스라인 대비 12퍼센트 이상의 정확도 향상을 이끌어내며, DBDC4에선 2퍼센트의 향상을 기록한다. 이는 최소한의 아키텍처 변경으로도 높은 성능 향상을 이끌어내며, 대화 작업 전반에 걸쳐 널리 적용 가능함을 보여준다.

ABSTRACT

Building user trust in dialogue agents requires smooth and consistent dialogue exchanges. However, agents can easily lose conversational context and generate irrelevant utterances. These situations are called dialogue breakdown, where agent utterances prevent users from continuing the conversation. Building systems to detect dialogue breakdown allows agents to recover appropriately or avoid breakdown entirely. In this paper we investigate the use of semi-supervised learning methods to improve dialogue breakdown detection, including continued pre-training on the Reddit dataset and a manifold-based data augmentation method. We demonstrate the effectiveness of these methods on the Dialogue Breakdown Detection Challenge (DBDC) English shared task. Our submissions to the 2020 DBDC5 shared task place first, beating baselines and other submissions by over 12\% accuracy. In ablations on DBDC4 data from 2019, our semi-supervised learning methods improve the performance of a baseline BERT model by 2\% accuracy. These methods are applicable generally to any dialogue task and provide a simple way to improve model performance.

연구 동기 및 목표

• 대화 붕괴 탐지에서 레이블이 부족한 문제를 해결하기 위해 대규모의 레이블이 없는 대화 데이터를 활용하고자 한다.
• 작업에 특화된 미세조정 없이도 대화 붕괴 탐지 성능을 향상시키기 위한 반감독 학습 기법을 개선하고자 한다.
• 저자원 대화 환경에서 Reddit에서의 계속된 미세조정과 SSMBA 기반 데이터 증강의 효과를 평가하고자 한다.
• 이러한 방법들이 다양한 대화 작업에 일반화되며 기존의 베이스라인을 크게 능가함을 입증하고자 한다.

제안 방법

• 일반적인 표현을 비공식적이고 대화적인 대화 언어에 맞게 적응시키기 위해 BERT를 Reddit 데이터셋에서 계속 미세조정한다.
• 사전에 학습된 BERT 모델을 사용해 문장 쌍을 마스킹하고 재구성함으로써 SSMBA를 적용해 증강된 학습 예제를 생성한다.
• 레이블 일관성을 유지하고 원본 레이블이 있는 데이터와 결합하기 위해 증강된 예제에 소프트 가짜 레이블을 적용한다.
• 반감독 학습 전처리 후 표준 지도 학습을 사용해 DBDC 데이터셋에서 최종 모델을 미세조정한다.
• 테스트 세트에서의 일반화 및 내구성을 향상시키기 위해 성능이 뛰어난 모델들을 앙상블한다.
• 계속된 미세조정 전에 사전에 학습된 언어적 구조를 활용하기 위해 BERT BASE 가중치에서 모델을 초기화한다.

실험 결과

연구 질문

• RQ1 표준 BERT 미세조정을 넘어서 Reddit 데이터에서의 계속된 미세조정이 대화 붕괴 탐지 성능 향상에 기여하는가?
• RQ2 SSMBA 기반 데이터 증강이 저자원 대화 붕괴 탐지 환경에서 모델의 일반화 및 성능 향상에 기여하는가?
• RQ3 이러한 반감독 기법들이 정확도, F1 점수, JS 수렴도 측면에서 지도 학습 기반 베이스라인과 비교해 어떻게 성능을 냈는가?
• RQ4 이러한 방법들이 이전의 공동 과제 데이터(DBDC4)와 새로운 DBDC5 벤치마크에서 성능 향상에 얼마나 기여하는가?

주요 결과

• 우리의 최종 제출 결과는 DBDC5 테스트 세트에서 73.92%의 정확도를 기록했으며, CRF 기반 베이스라인 대비 15.26%포인트 높고, 다음으로 좋은 제출 결과보다 12% 높았다.
• DBDC4에서는 베이스라인 BERT 모델이 73.18%의 정확도를 기록했으며, 이는 이전 과제 우승자들보다 13% 이상 높은 성능이었다.
• Reddit에서의 계속된 미세조정을 추가함으로써 베이스라인 성능이 0.92% 향상되어 74.10%의 정확도를 기록했고, JS 수렴도는 0.0021 감소했다.
• SSMBA 기반 데이터 증강을 통합함으로써 정확도는 74.97%로 상승했고, JS 수렴도는 0.0419로 감소하여 베이스라인 대비 0.0031 감소했다.
• 상위 4개 모델을 앙상블함으로써 DBDC4에서 최종 정확도는 75.54%에 도달했으며, JS 수렴도는 변화가 없었고, 이는 강력한 일반화 능력을 의미한다.
• 반감독 기법을 통해 DBDC4에서는 F1 점수가 0.02 향상되었고, DBDC5에선 0.135 향상되었으며, DBDC5에서는 JS 수렴도가 0.02 감소했다.