[논문 리뷰] Intonational Boundaries, Speech Repairs and Discourse Markers: Modeling Spoken Dialog

Peter A. Heeman, James F. Allen|ArXiv.org|1997. 04. 23.

Speech and dialogue systems참고 문헌 15인용 수 13

한 줄 요약

이 논문은 구어 대화에서 조음 경계, 언어적 수정, 논의 마커를 동시에 탐지하는 통합 통계적 언어 모델을 제안한다. 이러한 현상을 처리의 초반 단계에서 함께 모델링함으로써, 모든 작업, 특히 품사 태깅과 퍼플렉서티 성능이 향상됨을 보여주며, 상호의존적인 구어 현상은 통합 분석을 통해 구어 언어 이해 시스템에서 유리함을 얻는다.

ABSTRACT

To understand a speaker's turn of a conversation, one needs to segment it into intonational phrases, clean up any speech repairs that might have occurred, and identify discourse markers. In this paper, we argue that these problems must be resolved together, and that they must be resolved early in the processing stream. We put forward a statistical language model that resolves these problems, does POS tagging, and can be used as the language model of a speech recognizer. We find that by accounting for the interactions between these tasks that the performance on each task improves, as does POS tagging and perplexity.

연구 동기 및 목표

• 통합 프레임워크 내에서 조음 경계, 언어적 수정, 논의 마커를 해결함으로써 구어 대화 이해의 과제를 해결하기 위해.
• 이러한 현상을 별도로가 아니라 함께 모델링함으로써 구어 언어 이해를 향상시키기 위해.
• 프로소디크 및 논의 현상을 고려하는 강력한 언어 모델을 통합함으로써 음성 인식 시스템의 성능을 향상시키기 위해.
• 처리의 조기 단계에서 이러한 작업들을 통합함으로써 언어 모델링 및 태깅 작업의 전체 성능이 향상됨을 보여주기 위해.

제안 방법

• 저자는 조음 경계, 언어적 수정, 논의 마커를 함께 모델링하는 통계적 언어 모델을 조건부 랜덤 필드(CRF) 프레임워크를 사용하여 개발한다.
• 모델은 프로소디크 신호, 어휘적 내용, 문법적 맥락에서 유도된 특징을 사용하여 조음 어구 경계를 식별한다.
• 음성 및 어휘적 특징의 조합을 통해 '아', '음', 반복된 단어와 같은 불순화 표시를 식별함으로써 언어적 수정을 탐지한다.
• '좋은데', '그래서', '알다시피'와 같은 논의 마커는 패턴 매칭 및 모델 내 맥락 기반 임베딩을 통해 식별된다.
• 모델은 공동 추론 과정의 일부로 품사 태깅을 수행하며, 공유된 맥락을 통해 태깅 정확도를 향상시킨다.
• 시스템은 주석이 달린 대화형 음성 데이터를 기반으로 훈련되었으며, 음성 인식 파이프라인 내 언어 모델로 사용된다.

실험 결과

연구 질문

• RQ1 조음 경계, 언어적 수정, 논의 마커의 통합 모델링이 각 개별 작업의 성능을 향상시킬 수 있는가?
• RQ2 처리 스트림의 조기에 이러한 프로소디크 및 논의 현상을 통합함으로써 품사 태깅 및 언어 모델 퍼플렉서티에 어떤 영향을 미치는가?
• RQ3 자연스러운 대화에서 조음 어구 경계를 식별하는 데 가장 효과적인 특징는 무엇인가?
• RQ4 언어적 수정과 논의 마커가 구어 대화에서 얼마나 상호작용하는가, 그리고 함께 모델링할 수 있는가?
• RQ5 음성 인식 환경에서 각 작업을 위한 별도의 모델보다 통합 통계 모델이 더 우수한 성능을 낼 수 있는가?

주요 결과

• 조음 경계, 언어적 수정, 논의 마커의 통합 모델링은 고립된 모델링 대비 세 가지 작업 모두에서 성능 향상을 이끌어낸다.
• 통합 모델은 기준 언어 모델보다 낮은 퍼플렉서티를 달성하여, 구어 언어의 시퀀스 모델링이 향상됨을 시사한다.
• 경계 및 수정 탐지와 함께 공동으로 수행될 때, 품사 태깅 정확도가 공유된 맥락 정보 덕분에 향상된다.
• 음성 및 어휘적 신호의 도움을 받아 모델은 높은 정밀도로 프로소디크 경계를 성공적으로 식별한다.
• 맥락적 및 프로소디크 특징을 모델에 통합함으로써 언어적 수정 탐지 정확도가 향상된다.
• 처리의 조기 단계에서 언어 현상 간의 상호작용을 모델링함으로써 전체 시스템 성능 향상이 가능함을 입증한다.