[논문 리뷰] Dialogue Act Modeling for Automatic Tagging and Recognition of Conversational Speech

Andreas Stolcke, K. Ries외 8명|arXiv (Cornell University)|2000. 01. 01.

Speech and dialogue systems참고 문헌 13인용 수 87

한 줄 요약

이 논문은 음성 대화에서 자동 태깅 및 인식을 향상시키기 위해 은닉 마르코프 모델과 n-gram 문법을 사용하여 어휘적, 조절적, 논의 수준의 신호를 통합하는 통계적 대화 액트 모델링 프레임워크를 제시한다. 이는 음성 전사 자료에서 71%의 대화 액트 분류 정확도를 달성하여 우연의 경우(35%)를 크게 뛰어넘고 인간 수준의 성능(84%)에 가까워지며, 단어 오류율은 약간 감소시켰다.

ABSTRACT

We describe a statistical approach for modeling dialogue acts in conversational speech, i.e., speech-act-like units such as Statement, Question, Backchannel, Agreement, Disagreement, and Apology. Our model detects and predicts dialogue acts based on lexical, collocational, and prosodic cues, as well as on the discourse coherence of the dialogue act sequence. The dialogue model is based on treating the discourse structure of a conversation as a hidden Markov model and the individual dialogue acts as observations emanating from the model states. Constraints on the likely sequence of dialogue acts are modeled via a dialogue act n-gram. The statistical dialogue grammar is combined with word n-grams, decision trees, and neural networks modeling the idiosyncratic lexical and prosodic manifestations of each dialogue act. We develop a probabilistic integration of speech recognition with dialogue modeling, to improve both speech recognition and dialogue act classification accuracy. Models are trained and evaluated using a large hand-labeled database of 1,155 conversations from the Switchboard corpus of spontaneous human-to-human telephone speech. We achieved good dialogue act labeling accuracy (65% based on errorful, automatically recognized words and prosody, and 71% based on word transcripts, compared to a chance baseline accuracy of 35% and human accuracy of 84%) and a small reduction in word recognition error.

연구 동기 및 목표

• 자연스러운 대화 음성에서 자동 대화 액트 태깅을 위한 통계적 프레임워크를 개발하는 것.
• 어휘적, 조절적, 논의 수준의 다수의 신호를 통합하여 통합된 확률 모델을 만드는 것.
• 대화 액트의 맥락을 인식 과정에 통합하여 음성 인식 정확도를 향상시키는 것.
• 대화 음성의 대규모 수작업 레이블링 코퍼스를 기반으로 모델을 평가하는 것.
• 지속적인 음성 인식에서 대화 액트 모델링을 제약 조건으로 사용할 수 있는지 탐색하는 것.

제안 방법

• 논의 구조는 은닉 마르코프 모델(HMM)로 모델링되며, 대화 액트가 은닉 상태에서 관측 가능한 출력으로 나타난다.
• 대화 액트의 n-gram은 대화 액트의 순서에 대한 제약을 모델링하여 논의의 일관성을 포착한다.
• 어휘적 및 조절적 특징은 자동으로 인식된 음성과 조절 신호를 기반으로 훈련된 단어 n-gram, 결정 트리, 신경망을 사용하여 모델링된다.
• 대화 액트 모델링과 지속적인 음성 인식을 확률적으로 통합하기 위해 논의 맥락을 사용하여 단어 가설을 제약한다.
• 모델은 스위치보드 코퍼스의 1,155개의 수작업 레이블링된 대화에서 훈련 및 평가된다.
• 신경망은 조건부 확률 추정을 사용하여 다양한 지식 소스, 특히 조절적 및 어휘적 특징을 통합하도록 훈련된다.

실험 결과

연구 질문

• RQ1 자연스러운 음성에서 어휘적, 조절적, 논의 수준의 신호를 효과적으로 통합하는 통계적 모델이 가능한가?
• RQ2 대화 액트 모델링을 통합함으로써 음성 인식 정확도는 어떻게 향상되는가?
• RQ3 논의 문법(n-gram 제약 조건)은 대화 액트 분류 성능에 어떤 영향을 미치는가?
• RQ4 다양한 모델링 구성 요소(예: 백오프 n-gram 대비 최대 엔트로피 모델)는 분류 정확도에 어떤 영향을 미치는가?
• RQ5 대화 액트 모델링은 자동 음성 인식에서 단어 오류율을 어느 정도 감소시키는가?

주요 결과

• 자동으로 인식된 단어와 조절 신호를 사용할 경우 모델은 65%의 대화 액트 분류 정확도를 달성하였으며, 이는 35%의 우연의 경우를 뛰어넘는다.
• 자동 인식 대신 전사된 단어를 사용할 경우 정확도는 71%로 향상되었으며, 인간 성능(84%)에 가까워졌다.
• 대화 액트 모델링을 음성 인식 과정에 통합함으로써 단어 오류율이 소폭이지만 측정 가능한 정도로 감소했다.
• 모델의 성능는 주로 모델링 구성 요소의 선택(예: 백오프 n-gram 대비 최대 엔트로피 모델)에 대해 뚜렷한 영향을 받지 않았다.
• 후행 확률에 기반해 훈련된 신경망은 다양한 특징을 통합하는 데 유망한 성과를 보였지만, 성능 향상은 미미하여 더 나은 특징 추출 기법이 적용될 경우 향상 가능성이 있음을 시사한다.
• 특히 '진술'이 지배적인 대화 액트의 비대칭 분포로 인해, 대화 액트 모델링이 음성 인식에 전체적으로 주는 이점은 제한되었다.