[논문 리뷰] MIDAS: A Dialog Act Annotation Scheme for Open Domain Human Machine Spoken Conversations

Dian Yu, Zhou Yu|arXiv (Cornell University)|2019. 08. 27.

Topic Modeling참고 문헌 18인용 수 25

한 줄 요약

이 논문은 개방형 인간-기계 음성 대화에 특화된 계층적이고 다중 레이블 대화 액션 주석 체계인 MIDAS를 소개한다. 이는 기존 인간-인간 주석 체계의 한계를 보완한다. MIDAS로 주석 처리된 24,000개의 발화를 사용하여 저자들은 전이 학습 기반의 다중 레이블 대화 액션 분류기를 훈련시켰으며, ASR 출력이 포함된 실제 인간-기계 상호작용에서 기존 방법보다 향상된 성능을 보이며 F1 점수 0.79를 달성하였다.

ABSTRACT

Dialog act prediction is an essential language comprehension task for both dialog system building and discourse analysis. Previous dialog act schemes, such as SWBD-DAMSL, are designed for human-human conversations, in which conversation partners have perfect language understanding ability. In this paper, we design a dialog act annotation scheme, MIDAS (Machine Interaction Dialog Act Scheme), targeted on open-domain human-machine conversations. MIDAS is designed to assist machines which have limited ability to understand their human partners. MIDAS has a hierarchical structure and supports multi-label annotations. We collected and annotated a large open-domain human-machine spoken conversation dataset (consists of 24K utterances). To show the applicability of the scheme, we leverage transfer learning methods to train a multi-label dialog act prediction model and reach an F1 score of 0.79.

연구 동기 및 목표

• 인간-인간 상호작용과 상당히 다름에도 불구하고 인간-기계 음성 대화에 특화된 대화 액션 주석 체계의 부족을 보완하기 위해.
• 개방형 인간-기계 대화에서 발화의 복잡하고 다기능적인 성격을 반영할 수 있도록 다중 레이블 및 계층적 레이블링을 지원하는 체계를 개발하기 위해.
• 대화 액션 예측 모델의 훈련 및 평가를 위해 실제 세계의 대규모 주석 처리 데이터셋을 제작하기 위해.
• 특히 ASR 오류 조건 하에서도 사용자 의도를 보다 잘 이해할 수 있도록 모델 성능을 향상시키기 위해 인간-기계 상호작용에서의 대화 시스템 성능을 향상시키기 위해.
• 대화 액션 예측 연구를 촉진하기 위해 오픈소스 주석 데이터와 훈련된 모델을 제공하기 위해.

제안 방법

• 인간-기계 상호작용 특성(예: 명령형 요청, 주제 전환 등)을 고려해 최적화된 11개의 주요 카테고리와 88개의 하위 카테고리로 구성된 계층적이고 다중 레이블 대화 액션 주석 체계(MIDAS)를 설계한다.
• 실제 인간-기계 사회적 대화에서 유래한 24,000개의 발화를 수집하고 주석 처리하여 고상호주석 일致도(카파 = 0.94)를 확보한다.
• MIDAS 주석 처리 데이터셋에 대해 토이너드된 BERT 임베딩을 사용하여 전이 학습 기반의 다중 레이블 대화 액션 분류 모델을 훈련시킨다.
• F1 점수를 사용하여 성능을 평가하며, 문맥이 포함된 경우와 포함되지 않은 경우, 그리고 다양한 문맥 표현 방식(텍스트 vs. 대화 액션 레이블)을 비교한다.
• 내부 도메인의 미주석화된 인간-기계 대화 데이터로 BERT를 토이너드하여 도메인 내 사전 훈련의 영향을 테스트한다.
• 전이 학습을 위해 인간-인간 대화 데이터(SwDA)를 사용하는 효과를 분석하며, 도메인 및 주석 분포의 차이로 인한 성능 저하를 분석한다.

실험 결과

연구 질문

• RQ1 인간-기계 대화에 특화된 대화 액션 주석 체계는 인간-인간 상호작용을 위한 체계보다 대화 액션 예측 성능을 향상시키는가?
• RQ2 표면 텍스트와 이전 대화 액션 레이블을 포함한 문맥 정보를 통합할 경우, 개방형 인간-기계 대화에서 다중 레이블 대화 액션 분류 성능에 어떤 영향을 미치는가?
• RQ3 내부 도메인의 미주석화된 인간-기계 대화 데이터로 BERT를 토이너드하는 것은 사전 훈련된 BERT만 사용하는 것보다 대화 액션 예측 성능을 얼마나 향상시키는가?
• RQ4 전이 학습의 이점이 있음에도 불구하고, 인간-인간 대화 데이터(SwDA)로 토이너드하는 것이 인간-기계 데이터에서 성능 향상을 이루지 못하는 이유는 무엇인가?
• RQ5 대화 액션 예측의 주요 오류 패턴은 무엇이며, 이는 문맥 길이와 발화 분할 방식과 어떤 관련이 있는가?

주요 결과

• 제안된 MIDAS 체계는 높은 상호주석 일致도(카파 = 0.94)를 달성하여 복잡한 개방형 환경에서 인간 주석의 명확성과 실용성을 확인하였다.
• 내부 도메인 데이터에 대해 토이너드된 BERT 임베딩을 사용한 다중 레이블 대화 액션 분류기는 F1 점수 0.7940을 기록하여 도메인 특화 토이너드가 없는 모델보다 뛰어난 성능을 보였다.
• 이전 발화의 텍스트와 그 대화 액션 레이블을 모두 문맥으로 통합한 경우가 가장 뛰어난 성능(F1 = 79.44%)을 보였지만, 텍스트 전용 문맥 대비 통계적으로 유의미한 향상은 없었다.
• 인간-인간 대화 데이터(SwDA)로 토이너드한 결과 성능 향상이 없었고, F1 점수는 약간 감소하여 도메인 이동과 주석 체계의 차이(단일 레이블 대비 다중 레이블)로 인한 것으로 보인다.
• 단일 턴으로 제한된 문맥에서 '의견이 아닌 진술'과 '일반적 의견'을 구분하는 데에서 모델이 가장 어려움을 겪었으며, 이는 더 긴 문맥 모델링의 필요성을 시사한다.
• 오류의 주요 원인은 잘못된 발화 분할과 무의미한 발화였으며, 이는 실제 ASR 파이프라인에서 강력한 사전처리 및 분할 기법의 중요성을 강조한다.