[논문 리뷰] Multi-Task Self-Supervised Learning for Disfluency Detection

Shaolei Wang, Wanxiang Che외 4명|arXiv (Cornell University)|2019. 08. 15.

Speech and dialogue systems인용 수 4

한 줄 요약

이 논문은 두 가지 자기지도 학습 작업을 통해 자동으로 생성된 가짜 훈련 데이터를 활용하여 다중 작업 자기지도 학습 프레임워크를 제안한다: 유창한 문장에 삽입된 노이즈가 있는 단어를 태깅하는 것과 원본 문장과 손상된 문장을 분류하는 것. 이 방법은 최고 성능을 기록하며, 전체 데이터셋으로 훈련했을 때 Switchboard 테스트 세트에서 오차를 21% 감소시켰고, 인간 레이블 데이터의 1%만으로도 BERT를 능가하는 성능을 보였다.

ABSTRACT

Most existing approaches to disfluency detection heavily rely on human-annotated data, which is expensive to obtain in practice. To tackle the training data bottleneck, we investigate methods for combining multiple self-supervised tasks-i.e., supervised tasks where data can be collected without manual labeling. First, we construct large-scale pseudo training data by randomly adding or deleting words from unlabeled news data, and propose two self-supervised pre-training tasks: (i) tagging task to detect the added noisy words. (ii) sentence classification to distinguish original sentences from grammatically-incorrect sentences. We then combine these two tasks to jointly train a network. The pre-trained network is then fine-tuned using human-annotated disfluency detection training data. Experimental results on the commonly used English Switchboard test set show that our approach can achieve competitive performance compared to the previous systems (trained using the full dataset) by using less than 1% (1000 sentences) of the training data. Our method trained on the full dataset significantly outperforms previous methods, reducing the error by 21% on English Switchboard.

연구 동기 및 목표

• 인간 레이블이 부여된 비유창성 탐지 데이터의 높은 비용과 부족함을 해결하기 위해.
• 자기지도 사전 훈련이 비용이 많이 드는 인간 레이블에 대한 의존도를 줄일 수 있는지 조사하기 위해.
• 문장 수준의 문법적 구조와 비유창성 패턴을 포착하는 자기지도 학습 작업을 설계하기 위해.
• 기존 훈련 데이터의 소수에 불과한 일부만을 사용하여 비유창성 탐지 성능을 향상시키기 위해.
• 자연어 처리 분야에서 자원이 부족한 환경에서 다중 작업 자기지도 학습의 효과성을 입증하기 위해.

제안 방법

• 비라벨 뉴스 문장에서 무작위로 단어를 추가하거나 삭제하여 대규모 가짜 훈련 데이터를 구축한다.
• 비유창한 문장에 삽입된 노이즈 단어를 식별하고 제거하는 태깅 작업을 제안한다.
• 원본으로 유창한 문장과 문법적으로 잘못된 손상된 문장을 구분하는 문장 분류 작업을 도입한다.
• 신경망을 두 자기지도 학습 작업에 동시에 훈련시켜 강력한 문장 표현을 학습한다.
• 소량의 인간 레이블이 부여된 비유창성 탐지 데이터로 사전 훈련된 모델을 미세조정한다.
• 숨겨진 표현을 연결하여 성능 향상을 위해 제안된 모델과 BERT를 결합한다.

실험 결과

연구 질문

• RQ1 자동으로 생성된 데이터를 활용한 자기지도 사전 훈련이 비유창성 탐지 성능을 향상시킬 수 있는가?
• RQ2 문법적 정확성과 유창성 회복에 중점을 둔 다중 작업 자기지도 목표가 모델의 일반화 능력을 향상시키는가?
• RQ3 기존 인간 레이블 훈련 데이터의 1%만으로 미세조정했을 때 제안된 방법의 효과는 어떠한가?
• RQ4 제안된 자기지도 모델이 자원이 부족한 환경에서 BERT를 능가하거나 보완할 수 있는가?
• RQ5 제안된 모델을 BERT와 조합하면 비유창성 탐지 성능을 추가로 향상시킬 수 있는가?

주요 결과

• 전체 데이터셋으로 훈련했을 때 영어 Switchboard 테스트 세트에서 오차가 21% 감소했으며, 이는 이전 방법들보다 뚜렷이 뛰어난 성능이다.
• 인간 레이블이 부여된 문장 1,000개(전체 데이터셋의 1% 미만)만으로도 F1 스코어 86.1%를 기록했으며, 이는 동일한 저자원 설정에서 BERT의 82.4%를 뛰어넘는 성과이다.
• 전체 데이터셋에서 F1 스코어 90.2%를 기록하여 최고의 보고된 결과와 동일하며, 이전 최고 성능 모델을 능가한다.
• 자기지도 태깅 및 분류 작업이 뛰어난 성능을 보였으며, 각각 F1 스코어 80%와 정확도 97%를 기록하여 학습 가능성과 유용성을 확인했다.
• 제안된 모델을 BERT와 조합하면 추가적인 성능 향상이 이루어졌으며, 전체 데이터셋에서 F1 스코어 91.4%를 기록했고, 1,000개 문장에서 87.8%를 기록하여 상호보완적인 표현이 있음을 시사한다.
• 비반복 비유창성 타입에서 특히 뛰어난 성능을 보였으며, F1 스코어 70.8%를 기록하여 룰 기반 또는 무작위 초기화 모델보다 복잡한 구조적 패턴을 더 잘 포착함을 시사한다.