[논문 리뷰] Identification of primary and collateral tracks in stuttered speech

Rachid Riad, Anne‐Catherine Bachoud‐Lévi외 2명|arXiv (Cornell University)|2020. 03. 02.

Stuttering Research and Treatment인용 수 7

한 줄 요약

이 논문은 클락의 주경로 및 보조경로 이론을 통해 임상적 및 자연어처리(NLP) 관점에서 융합된 새로운 평가 프레임워크를 제안한다. 이는 뚜렷한 말더듬이 있는 말의 말단점 검출을 위한 것이다. 강제 정렬된 병리적 음성 데이터셋을 제작하고, 텍스트의 스파니어스 페러미터에서 영감을 얻은 오디오 기반 스파니어스 특징이, 문맥 기반 말단점 검출 성능을 크게 향상시킨다. 이로 인해 정확도 F1은 0.118에 도달했으며, 기존의 음향 및 프로소딕 특징보다 뛰어난 성능을 보였다.

ABSTRACT

Disfluent speech has been previously addressed from two main perspectives: the clinical perspective focusing on diagnostic, and the Natural Language Processing (NLP) perspective aiming at modeling these events and detect them for downstream tasks. In addition, previous works often used different metrics depending on whether the input features are text or speech, making it difficult to compare the different contributions. Here, we introduce a new evaluation framework for disfluency detection inspired by the clinical and NLP perspective together with the theory of performance from \cite{clark1996using} which distinguishes between primary and collateral tracks. We introduce a novel forced-aligned disfluency dataset from a corpus of semi-directed interviews, and present baseline results directly comparing the performance of text-based features (word and span information) and speech-based (acoustic-prosodic information). Finally, we introduce new audio features inspired by the word-based span features. We show experimentally that using these features outperformed the baselines for speech-based predictions on the present dataset.

연구 동기 및 목표

• 말더듬이 있는 말의 말단점 검출을 위한 공개된 병리적이고 주석이 달린 데이터셋의 부족을 해결하기 위해.
• 텍스트 기반 및 음성 기반 말단점 검출을 위한 평가 지표를 통합함으로써 자연어처리(NLP)와 음성 기술 커뮤니티 간 격차를 메우기 위해.
• 문맥 기반 말단점 검출 성능 향상을 위해 텍스트의 스파니어스 특징을 모방하는 오디오 특징을 개발하고 평가하기 위해.
• 운동 중인 병리적 말에 대한 말단점 검출 시스템을 평가하기 위한 표준화된 개방형 벤치마크를 제공하기 위해.

제안 방법

• 클락(1996)의 주경로 및 보조경로 이론을 도입하여 말단점 검출을 이중 경로 소통 과정으로 정의하였다.
• 성인 말더듬 환자들의 반지향적 인터뷰에서 강제 정렬된 새로운 말단점 데이터셋을 구축하였으며, Praat 기반 주석을 사용하였다.
• 단어 기반 스파니어스 특징에서 유도된 새로운 오디오 스파니어스 특징을 설계하여, 말의 말단점 사건을 문맥 기반으로 모델링할 수 있도록 하였다.
• 텍스트 기반 및 음성 기반 말단점 검출 작업을 모두 포함하는 통합 메트릭 세트(정밀도, 재현율, F1, 오류율)를 사용해 시스템을 평가하였다.
• 여러 특징 조합을 바탕으로 단어 기반(SVM, 선형 커널) 및 문맥 기반(음향-프로소딕) 모델을 비교하였다.
• 토큰, 스파니어스, 음향, 프로소딕 특징의 기여도를 분리하기 위해 아블레이션 연구를 수행하였다.

실험 결과

연구 질문

• RQ1 병리적 말에서 텍스트 기반 및 음성 기반 시스템 간 일관된 말단점 검출 평가 방법은 무엇인가?
• RQ2 기존의 음향-프로소딕 특징에 비해 오디오 기반 스파니어스 특징은 문맥 기반 말단점 검출 성능을 얼마나 향상시키는가?
• RQ3 왜 단어 기반 모델이 문맥 기반 모델보다 말단점 검출에서 뛰어나며, 후자에서 무엇이 부족한가?
• RQ4 텍스트의 스파니어스 특징을 모방하는 오디오 특징은 텍스트 기반과 음성 기반 말단점 검출 간 성능 격차를 메울 수 있는가?

주요 결과

• 토큰 및 스파니어스 특징을 포함한 단어 기반 SVM 모델이 가장 높은 정확도 F1(0.721)을 기록하여, 모든 문맥 기반 기준 모델을 압도적으로 뛰어넘었다.
• 음향 특징만으로는 근본적인 성능(정확도 F1 ≤ 0.001)을 내지 못해, 말더듬이 있는 말의 말단점 검출에 부적절함을 시사했다.
• 오디오 스파니어스 특징만으로는 검출 재현율이 0.063에 불과했지만, 음향-프로소딕 특징과 조합했을 때 문맥 기반 최고 성능을 기록하여 정확도 F1이 0.118에 도달했다.
• 단어 기반 모델에서 토큰 및 스파니어스 특징의 조합은 검출에 대해 F1 0.772, 정확도 F1 0.720을 기록하여 언어적 구조의 중요성을 입증했다.
• 아블레이션 연구 결과, 스파니어스 및 토큰 특징이 음향 특징보다 더 유용하며, 이들의 조합은 전체 특징 성능에 거의 근접함을 확인했다.
• 본 연구는 문맥 기반 모델이 극심한 클래스 불균형 상황에서 실패함을 드러내었으며, 이로 인해 검출 및 정확도 오류율이 100%를 초과함을 보여주어, 더 나은 장기 시퀀스 모델링 기법이 필요함을 시사한다.