[논문 리뷰] Combining Acoustics, Content and Interaction Features to Find Hot Spots in Meetings

Dave Makhervaks, William Hinthorn외 2명|arXiv (Cornell University)|2019. 10. 24.

Topic Modeling참고 문헌 18인용 수 3

한 줄 요약

이 논문은 음성-성격, 어휘(비트 기반), 상호작용 특징을 융합한 기계학습 기반 접근법을 제안하여 회의에서 참여도가 높은 지역(핫스팟)을 탐지한다. ICSI 회의 코퍼스를 사용하여 어휘 임베딩이 가장 정보량이 많음을 발견했으며, 성격 및 상호작용 특징의 점진적 기여로 전체 특징을 융합했을 때 72.6%의 무작위 평균 재현율(UAR)을 달성한다.

ABSTRACT

Involvement hot spots have been proposed as a useful concept for meeting analysis and studied off and on for over 15 years. These are regions of meetings that are marked by high participant involvement, as judged by human annotators. However, prior work was either not conducted in a formal machine learning setting, or focused on only a subset of possible meeting features or downstream applications (such as summarization). In this paper we investigate to what extent various acoustic, linguistic and pragmatic aspects of the meetings, both in isolation and jointly, can help detect hot spots. In this context, the openSMILE toolkit is to used to extract features based on acoustic-prosodic cues, BERT word embeddings are used for encoding the lexical content, and a variety of statistics based on speech activity are used to describe the verbal interaction among participants. In experiments on the annotated ICSI meeting corpus, we find that the lexical model is the most informative, with incremental contributions from interaction and acoustic-prosodic model components.

연구 동기 및 목표

• 기계학습을 이용해 회의에서 참가자 참여도가 높은 영역(핫스팟)을 자동으로 탐지하기 위해.
• 음성-성격, 어휘적 내용, 화자 상호작용 특징이 핫스팟 탐지에 기여하는 상대적 기여도를 평가하기 위해.
• 개별 특징 세트를 초월해 성능을 향상시키는 특징 융합 전략을 탐색하기 위해.
• 인간이 애너테이션한 핫스팟을 기반으로 ICSI 회의 코퍼스에서 접근법을 검증하기 위해.
• 일상적인 회의 환경에서 강력하지만 이식성이 낮은 신호로서 웃음의 영향을 평가하기 위해.

제안 방법

• 프로소디(성격) 신호인 피치와 에너지 등을 위한 음성-성격 특징을 openSMILE 툴킷을 사용해 추출하였다.
• 자동 음성 인식(ASR) 텍스트를 기반으로 BERT를 사용해 문맥 기반 어휘 임베딩을 생성하여 어휘적 내용을 캡처하였다.
• 음성 활동 패턴에서 유도된 화자 겹침 비율, 고유한 화자 수, 턴 전환 수와 같은 상호작용 특징을 계산하였다.
• 융합된 특징 표현을 기반으로 슬라이딩 타임 윈도우를 '핫' 또는 '핫 아님'으로 분류하기 위해 로지스틱 회귀 모델을 훈련시켰다.
• 특징 세트의 중요도와 상호보완성을 평가하기 위해 떼어내기 분석(leave-one-out analysis)을 사용하였다.
• 보류된 테스트 세트에서 무작위 평균 재현율(UAR)을 사용해 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 음성-성격, 어휘, 상호작용 특징이 각각 회의에서 핫스팟 탐지에 어떻게 기여하는가?
• RQ2 기계학습 모델에 융합되었을 때 이 세 가지 특징 유형이 얼마나 상호보완적인가?
• RQ3 웃음을 특징으로 포함할 경우 탐지 성능에 어떤 영향을 미치며, 이는 비즈니스 회의와 같은 일반적인 회의 유형으로 이식 가능한가?
• RQ4 기존 방법(예: TF-IDF)에 비해 문맥 기반 어휘 임베딩(BERT 등)이 참여도 분류에 더 우수한가?
• RQ5 간단한 로지스틱 회귀 모델이 다양한 특징 유형을 효과적으로 융합해 핫스팟 탐지에 기여할 수 있는가?

주요 결과

• BERT 어휘 임베딩을 사용한 어휘 모델이 개별적으로 가장 높은 UAR 70.5%를 기록했으며, TF-IDF(59.8%)에 비해 유의미하게 뛰어났다.
• 음성-성격 특징만으로도 UAR 62.0%를 기록해 핫스팟 탐지에 중간 정도이지만 의미 있는 기여를 했다.
• 턴 전환 수 및 화자 겹침 비율과 같은 상호작용 특징은 점진적인 기여를 하였으며, 개별적으로 사용했을 때 UAR 66.6%를 기록했다.
• 세 가지 특징 유형을 모두 융합한 복합 모델은 UAR 72.6%를 달성해 비중복적이고 상호보완적인 기여를 입증했다.
• 웃음을 특징으로 포함시켰더니 UAR가 77.5%로 상승했지만, 일반적인 회의 유형(예: 비즈니스 미팅)으로의 이식성은 낮다고 판단되었다.
• 떼어내기 분석 결과, 어휘 임베딩을 제거했을 때 성능 하락 폭이 가장 커, 융합 모델에서의 주도적 역할을 확인했다.