[논문 리뷰] Multi-Task Learning for Domain-General Spoken Disfluency Detection in Dialogue Systems

Igor Shalyminov, Arash Eshghi외 1명|arXiv (Cornell University)|2018. 10. 08.

Speech and dialogue systems인용 수 5

한 줄 요약

이 논문은 대화 시스템에서 증분적이고 도메인 일반화 가능한 말의 어색함 감지에 다중 작업 LSTM 기반 모델을 제안하며, SWDA 코퍼스에서 최신 기술 성능을 달성하고 간단한 아키텍처로도 성능을 높였다. bAbI+ 합성 데이터셋에서 예측되지 않은 데이터로의 일반화 능력이 뛰어나며, 특히 헤시테이션과 PP 재시작과 같은 국소적 어색함 패턴에 대해 강력한 성능을 보였지만, 데이터 희소성으로 인해 복잡한 NP/PP 자기수정 패턴을 처리하는 데에는 어려움을 겪었다.

ABSTRACT

Spontaneous spoken dialogue is often disfluent, containing pauses, hesitations, self-corrections and false starts. Processing such phenomena is essential in understanding a speaker's intended meaning and controlling the flow of the conversation. Furthermore, this processing needs to be word-by-word incremental to allow further downstream processing to begin as early as possible in order to handle real spontaneous human conversational behaviour. In addition, from a developer's point of view, it is highly desirable to be able to develop systems which can be trained from `clean' examples while also able to generalise to the very diverse disfluent variations on the same data -- thereby enhancing both data-efficiency and robustness. In this paper, we present a multi-task LSTM-based model for incremental detection of disfluency structure, which can be hooked up to any component for incremental interpretation (e.g. an incremental semantic parser), or else simply used to `clean up' the current utterance as it is being produced. We train the system on the Switchboard Dialogue Acts (SWDA) corpus and present its accuracy on this dataset. Our model outperforms prior neural network-based incremental approaches by about 10 percentage points on SWDA while employing a simpler architecture. To test the model's generalisation potential, we evaluate the same model on the bAbI+ dataset, without any additional training. bAbI+ is a dataset of synthesised goal-oriented dialogues where we control the distribution of disfluencies and their types. This shows that our approach has good generalisation potential, and sheds more light on which types of disfluency might be amenable to domain-general processing.

연구 동기 및 목표

• 재학습 없이 다양한 도메인으로 일반화 가능한 견고한 증분 어색함 감지 모델을 개발하기.
• 청결한 데이터로 학습하면서도 다양한 어색함 변형을 다룰 수 있도록 데이터 효율성과 견고성을 향상시키기.
• 통제된 어색함 분포를 가진 예측되지 않은 합성 대화 데이터에서 모델의 일반화 잠재력을 평가하기.
• 신경망 모델이 특정 학습 데이터를 초월해 도메인 일반화 어색함 패턴을 학습할 수 있는지 탐구하기.
• 현재 모델이 NP/PP 수리와 같은 복잡한 자기수정 패턴을 감지하는 데에 겪는 한계 탐색하기.

제안 방법

• 다중 작업 학습 프레임워크를 사용하여, 여러 어색함 감지 작업에 대해 공유 표현을 가진 단일 LSTM 인코더를 활용한다.
• 모델은 어색함 유형(헤시테이션, PP 재시작, 편집, 자기수정 등)을 단어 단위로 증분 태깅한다.
• 작업에는 간섭(예: 'uh'), 수리 범위, 재구성된 구문을 식별하는 것이 포함되며, 공유된 문맥 인코딩을 사용한다.
• 모델는 표준 어색함 주석 관례를 따르는 Switchboard Dialogue Acts (SWDA) 코퍼스를 사용해 훈련된다.
• 일반화 능력은 어떤 피팅 조정이나 재학습 없이 bAbI+ 합성 데이터셋에서 평가된다.
• 수리 길이, 품사 품사 패턴, 키워드 기반 어색함 구조를 분석하고, 추론 분석을 수행한다.

실험 결과

연구 질문

• RQ1 다중 작업 LSTM 모델이 이전 신경망 접근 방식에 비해 증분 어색함 감지에서 뛰어난 성능을 달성할 수 있는가?
• RQ2 SWDA 코퍼스에서 학습한 모델이 통제된 어색함 유형을 가진 예측되지 않은 합성 대화 데이터(bAbI+)로 얼마나 잘 일반화되는가?
• RQ3 간단한 패턴에 비해 높은 성능을 보이지만, 복잡한 NP/PP 자기수정 패턴을 감지하지 못하는 이유는 무엇인가?
• RQ4 특정 어색함 유형(예: NP/PP 수리)의 데이터 희소성이 모델의 일반화 능력에 어떤 영향을 미치는가?
• RQ5 다중 작업 학습이 다양한 구두 대화 패턴에서 어색함 감지의 견고성과 데이터 효율성을 향상시킬 수 있는가?

주요 결과

• 제안된 다중 작업 LSTM 모델은 SWDA 데이터셋에서 이전 신경망 증분 모델보다 약 10퍼센트 포인트 높은 성능을 달성했다.
• bAbI+에서 헤시테이션과 PP 재시작에 대해 F1 스코어 1.0을 기록하여 국소적 어색함 패턴으로의 강력한 일반화 능력을 보였다.
• 임의 영역 재시작과 같은 덜 제약된 어색함 유형에 대해서도 기존 모델 대비 뛰어난 일반화 능력을 유지했다.
• 모든 모델, 포함하여 제안된 모델까지도 NP/PP 자기수정에 대해 0.0 정확도를 기록하여 근본적인 감지 과제임을 시사했다.
• 분석 결과, SWDA에서 NP/PP 수리는 매우 희귀한 것으로 나타나, 이 패턴에서의 모델 실패의 주요 원인으로 데이터 희소성이 제기되었다.
• 모델는 합성 데이터로 잘 일반화되어 있어 실제 대화 시스템에서 도메인 일반화 어색함 처리 잠재력을 보여주었다.