[논문 리뷰] LARD: Large-scale Artificial Disfluency Generation

T. Passali, T. Mavropoulos외 3명|arXiv (Cornell University)|2022. 01. 13.

Speech and dialogue systems인용 수 7

한 줄 요약

이 논문은 영어 텍스트에서 대규모이고 현실적인 인위적 불순물(Disfluency)을 생성하기 위한 LARD 방법을 제안한다. 자연어 처리(NLP) 도구와 유창한 대화 코퍼스 기반의 규칙 기반 생성을 활용한다. 다양한 불순물 유형(반복, 대체, 재시작)을 생성하며, 96,000개 예제로 구성된 데이터셋을 공개한다. 기존 데이터셋인 Switchboard와 비교해 희귀 불순물 유형에서 뛰어난 모델 성능을 보여준다.

ABSTRACT

Disfluency detection is a critical task in real-time dialogue systems. However, despite its importance, it remains a relatively unexplored field, mainly due to the lack of appropriate datasets. At the same time, existing datasets suffer from various issues, including class imbalance issues, which can significantly affect the performance of the model on rare classes, as it is demonstrated in this paper. To this end, we propose LARD, a method for generating complex and realistic artificial disfluencies with little effort. The proposed method can handle three of the most common types of disfluencies: repetitions, replacements and restarts. In addition, we release a new large-scale dataset with disfluencies that can be used on four different tasks: disfluency detection, classification, extraction and correction. Experimental results on the LARD dataset demonstrate that the data produced by the proposed method can be effectively used for detecting and removing disfluencies, while also addressing limitations of existing datasets.

연구 동기 및 목표

• 말하기 언어에서 불순물 검출을 위한 대규모, 다양한, 균형 잡힌 데이터셋의 부족을 해결하기 위해.
• 기존 데이터셋에서 발생하는 클래스 불균형 문제, 특히 단순 반복의 과잉 표현 문제를 해결하기 위해.
• 유창한 텍스트에서 복잡하고 일관되며 현실적인 불순물을 자동으로, 스케일링 가능한 방법으로 생성하기 위해.
• 검출, 분류, 추출, 수정의 네 가지 작업을 지원하는 새로운 대규모 데이터셋(LARD)을 공개하기 위해.
• LARD 데이터셋으로 미세조정된 모델이 Switchboard와 같은 불균형 데이터셋으로 훈련된 모델보다 희귀 불순물 유형에서 뛰어난 성능을 보임을 입증하기 위해.

제안 방법

• 기본 자료로는 유창한 발화만 포함된 대규모 대화 코퍼스(SGD)를 사용한다.
• 입력 텍스트에 고급 NLP 도구(예: 품사 태깅기, 의존성 파서)를 적용하여 불순물 삽입을 위한 분석 및 구조화를 수행한다.
• 주요 세 가지 유형(반복, 대체, 재시작)에 대해 규칙 기반 템플릿을 사용해 불순물을 생성한다.
• 맥락 인식 삽입 전략를 통해 문법적 및 의미적 타당성을 유지함으로써 언어적 일관성을 확보한다.
• 수동 작업 최소화를 위해 높은 다양성과 현실성을 유지하도록 파이프라인을 설계한다.
• 최종 데이터셋에는 약 96,000개의 불순물 예제가 포함되어 있으며, 불순물 유형 간 균형 잡힌 분포를 보인다.

실험 결과

연구 질문

• RQ1 합성 불순물 생성이 자연어 인간 발화의 복잡성을 반영하는 현실적이고 다양한, 일관된 불순물을 생성할 수 있는가?
• RQ2 대규모이고 균형 잡힌 합성 데이터셋은 불균형한 실제 데이터셋에 비해 불순물 검출 및 수정 성능을 향상시키는가?
• RQ3 LARD 데이터셋으로 미세조정된 모델은 검출, 분류, 추출, 수정 등 다양한 불순물 관련 작업으로 일반화하는 데 효과적인가?
• RQ4 LARD로 훈련된 모델의 성능은 Switchboard와 같은 기존 데이터셋으로 훈련된 모델과 비교해 희귀 불순물 유형에서 어떻게 다를까?
• RQ5 LARD를 통한 데이터 증강은 불순물 검출에서 클래스 불균형의 부정적 영향을 어느 정도 완화하는가?

주요 결과

• LARD 데이터셋으로 미세조정된 모델은 불순물 검출에서 97.62%의 F1 스코어를 기록했으며, Switchboard로 훈련된 모델보다 뚜렷이 뛰어났다.
• 가장 희귀한 불순물 유형인 재시작의 경우, LARD로 훈련된 모델은 95.08%의 정확도를 기록했고, Switchboard는 단지 19.6%에 그쳤다.
• 대체 불순물의 경우, LARD 기반 모델은 99.67%의 정확도를 기록했고, Switchboard는 54.52%였다.
• 불순물 수정 작업에서는 LARD 데이터셋에서 BLEU 스코어가 86.48로, Switchboard는 71.49였다.
• 모든 네 가지 작업(검출, 분류, 추출, 수정)에서 LARD 데이터셋이 뛰어난 성능을 보였다.
• 본 연구는 Switchboard와 같은 기존 데이터셋의 데이터 불균형이 비반복 불순물에 대해 모델 일반화 능력을 심각하게 제한한다는 점을 확인했다.