[논문 리뷰] Can Prosody Aid the Automatic Classification of Dialog Acts in Conversational Speech?

E. Shriberg, Rebecca Bates외 8명|ArXiv.org|2000. 06. 11.

Speech and dialogue systems참고 문헌 34인용 수 4

한 줄 요약

이 연구는 자연스러운 대화에서 대화행위(DA)의 자동 분류 성능을 향상시키기 위해 고음정도, 지속시간, 에너지, 말하기 속도와 같은 프로소딕 특징(prosodic features)이 유용한지 조사한다. 스위치보드 코퍼스를 사용하여 저자들은 프로소딕 특징과 단어 수준의 정보(수동 또는 음성인식기 출력에서 유도)를 조합한 决정트리(decision trees)를 학습시켰으며, 프로소딕 특징이 언어모델과 조합될 경우 특히 분류 정확도를 높이며, 여러 프로소딕 특징이 대화행위를 표시하는 데 중복성을 제공함을 보여주었다.

ABSTRACT

Identifying whether an utterance is a statement, question, greeting, and so forth is integral to effective automatic understanding of natural dialog. Little is known, however, about how such dialog acts (DAs) can be automatically classified in truly natural conversation. This study asks whether current approaches, which use mainly word information, could be improved by adding prosodic information. The study is based on more than 1000 conversations from the Switchboard corpus. DAs were hand-annotated, and prosodic features (duration, pause, F0, energy, and speaking rate) were automatically extracted for each DA. In training, decision trees based on these features were inferred; trees were then applied to unseen test data to evaluate performance. Performance was evaluated for prosody models alone, and after combining the prosody models with word information -- either from true words or from the output of an automatic speech recognizer. For an overall classification task, as well as three subtasks, prosody made significant contributions to classification. Feature-specific analyses further revealed that although canonical features (such as F0 for questions) were important, less obvious features could compensate if canonical features were removed. Finally, in each task, integrating the prosodic model with a DA-specific statistical language model improved performance over that of the language model alone, especially for the case of recognized words. Results suggest that DAs are redundantly marked in natural conversation, and that a variety of automatically extractable prosodic features could aid dialog processing in speech applications.

연구 동기 및 목표

• 자연스럽고 즉흥적인 대화에서 프로소딕 특징이 대화행위 자동 분류 성능을 향상시킬 수 있는지 조사하기 위해.
• 대화행위 분류 과제에서 단어 수준의 정보에 비해 프로소딕 특징이 기여하는 바를 평가하기 위해.
• 대화행위 분류에서 기본적인 특징(F0 등 질문에 대한 것)이 누락되었을 경우 프로소딕 특징이 이를 보완할 수 있는지 확인하기 위해.
• 대화행위 전용 통계적 언어모델과 프로소딕 모델을 통합했을 때 분류 성능에 미치는 영향을 평가하기 위해.
• 대화행위 인식 기반 언어모델을 통한 자동 음성인식 향상 가능성을 탐색하기 위해.

제안 방법

• 연구는 스위치보드 코퍼스의 1,000건 이상의 대화를 사용하였으며, 대화행위는 SWBD-DAMSL 태그셋을 기반으로 수동으로 태깅되었다.
• 각 대화행위에 대해 기본 주파수(F0), 지속시간, 휴지, 에너지, 말하기 속도 등의 프로소딕 특징을 자동으로 추출하였다.
• 결정트리는 프로소딕 특징만으로, 그리고 정답 전사본 또는 자동 음성인식기 출력에서 유도된 단어 정보와 함께 학습되었다.
• 전체 대화행위 분류 및 세 가지 하위 과제에서 성능을 평가하였으며, 언어모델 기준선과의 비교를 실시하였다.
• 프로소딕 모델을 대화행위 전용 통계적 언어모델과 통합하여 공동 성능 향상 여부를 평가하였다.
• 특징 중요도와 중복성 분석을 위해 기본적인 특징을 제거하고 성능 변화를 관찰하였다.

실험 결과

연구 질문

• RQ1 즉흥적인 대화적 말하기에서 단어 수준의 정보를 초월해 프로소딕 특징이 대화행위 자동 분류 성능을 향상시킬 수 있는가?
• RQ2 어떤 프로소딕 특징이 특정 대화행위 유형에 대해 가장 예측 가능하며, 질문에 대한 F0와 같은 기본 특징과 비교해 볼 때 어떻게 다른가?
• RQ3 기본 특징이 제공되지 않을 경우 비기본 프로소딕 특징이 얼마나 잘 보완할 수 있는가?
• RQ4 대화행위 전용 언어모델과 프로소딕 모델을 통합했을 때, 특히 자동으로 인식된 단어를 사용할 경우 분류 정확도가 향상되는가?
• RQ5 언어모델링에서 제약 조건으로서 프로소딕 특징을 사용할 경우, 자동 음성인식에서 단어 오류율이 얼마나 감소하는가?

주요 결과

• 모든 과제에서 프로소딕 특징이 대화행위 분류 성능을 유의미하게 향상시켰으며, 언어모델과 조합되었을 경우 성능 향상이 가장 두드러졌다.
• 대화행위 전용 통계적 언어모델과 프로소딕 결정트리를 통합함으로써 언어모델만 사용했을 경우보다 성능 향상이 이루어졌으며, 특히 자동 음성인식기로부터 추출된 단어를 사용할 경우 더욱 두드러졌다.
• 기본 특징(F0 등)이 제거되었을 경우에도 지속시간, 에너지 등의 다른 프로소딕 특징이 보완 기능을 하여, 대화행위 표시에 있어 프로소딕 특징의 중복성이 있음을 시사하였다.
• No-Answers의 경우 단어 오류율이 18% 감소하였고, Backchannels의 경우 7% 감소하였지만, 스위치보드 코퍼스에서 Statements가 지배적일 뿐만 아니라 전체 단어 오류율은 0.9% 감소에 그쳤다.
• 자연스러운 대화에서 대화행위는 다수의 프로소딕 특징이 중복적으로 표시되고 있음을 보여주었으며, 이는 분류의 강건성을 높인다.
• 결과적으로 프로소딕 특징은 대화행위 분류 및 음성 이해 시스템에서 신뢰할 수 있고 상호보완적인 정보원임을 시사한다.