[논문 리뷰] On Laughter and Speech-Laugh, Based on Observations of Child-Robot Interaction

Anton Batliner, Stefan Steidl외 2명|arXiv (Cornell University)|2019. 08. 30.

Digital Communication and Language인용 수 7

한 줄 요약

이 연구는 FAU Aibo Emotion Corpus를 사용하여 어린이-로봇 상호작용에서의 자발적 웃음과 말과 함께 웃는 행동을 분석하여 문법적, 대화적, 음향적 특성을 조사한다. 연구는 웃음이 대화의 구성 요소로 작용하며 음향적으로도 뚜렷하게 다름을 보이며, 특징 선택을 통해 조절 및 스펙트럼 역동성이 자동 감지에 핵심적인 식별자로 작용함을 밝혀냈다.

ABSTRACT

In this article, we study laughter found in child-robot interaction where it had not been prompted intentionally. Different types of laughter and speech-laugh are annotated and processed. In a descriptive part, we report on the position of laughter and speech-laugh in syntax and dialogue structure, and on communicative functions. In a second part, we report on automatic classification performance and on acoustic characteristics, based on extensive feature selection procedures.

연구 동기 및 목표

• 자극 없이 유도되지 않은 자발적 웃음이 어린이-로봇 상호작용에서 수행하는 역할과 음향적 특성에 대해 조사한다.
• 음향적 특징과 특징 선택 방법을 사용하여 웃음과 말과 함께 웃는 행동을 자동으로 분류한다.
• 자연스러운 상호작용에서 웃음의 문법적 및 대화적 위치와 그 의사소통적 기능을 조사한다.
• 말과 웃음, 웃음의 하위 유형 간을 구분하는 데 핵심적인 음향적 특징을 특정한다.

제안 방법

• 자연스러운 독일어 대화 데이터 코퍼스인 FAU Aibo Emotion Corpus를 사용하여 51명의 어린이(10–13세)가 워즈더오즈 설정을 통해 로봇(Aibo)과 상호작용한 자료를 분석한다.
• 감정 상태, 문법 경계, 의사소통 기능(예: 구두점 및 강조 역할 포함)을 고려하여 웃음과 말과 함께 웃는 행동을 주석 처리한다.
• 세 가지 분류 수준(단어 기반, 턴 기반, 종합 기반)에서 관련 음향적 특징을 식별하기 위해 상관 기반 특징 부분집합 선택(CFS)을 적용한다.
• 저수준 음향 기술자표(예: 메르 주파수 체르스프 계수, 스펙트럼 롤오프, 에너지 분포, 음성 확률)를 추출하고, 조절 및 분포 기능량을 유도한다.
• 선택된 특징을 기반으로 기계학습을 사용하여 웃음을 분류하고, 단어 수준, 턴 수준, 종합 수준의 감지 작업 간 성능을 비교한다.
• 턴 수준 감지에 대해 스펙트럼 플럭스 조절을 분석하여 웃음 중 스펙트럼 역동성의 변화에 중점을 둔다.

실험 결과

연구 질문

• RQ1 자율적 웃음은 어린이-로봇 상호작용에서 문법적 및 대화적 구조 내에서 어떻게 위치하는가?
• RQ2 자연스러운 어린이-로봇 상호작용에서 웃음과 말과 함께 웃는 행동의 의사소통적 기능은 무엇인가?
• RQ3 말과 웃음, 웃음의 하위 유형 간을 구분하는 데 가장 효과적인 음향적 특징은 무엇인가?
• RQ4 특징 선택과 음향 모델링을 사용한 웃음과 말과 함께 웃는 행동의 자동 분류 성능는 얼마나 효과적인가?
• RQ5 신호 조절과 스펙트럼 분포는 말과 웃음을 어떻게 구분하는 데 기여하는가?

주요 결과

• 코퍼스의 0.4%만이 웃음 인스턴스를 차지하여 데이터의 자연스러움은 높지만 빈도는 낮음을 시사한다.
• 말과 함께 웃는 행동는 항상 내부 문법적 위치를 피함으로써 그 배치에 강력한 문법적 제약이 있음을 나타낸다.
• 웃음은 대화에서 종종 '구두점' 기능을 수행하여 턴 또는 작업 경계를 표시한다.
• 특징 선택을 통해 네 번째 메르 주파수 체르스프 계수의 조절, 음성 확률, 스펙트럼 에너지 분포가 웃음을 식별하는 데 핵심적인 식별자로 확인되었다.
• 턴 수준 감지에서 스펙트럼 플럭스 조절이 중요한 특징으로 나타나, 웃음 중에 특징적인 스펙트럼 역동성 변화가 있음을 시사한다.
• 턴 수준 감지에서는 자동 분류 성능이 유의미했지만, 같은 주요 클래스 내에서 세분화된 유형 간의 구분은 어려웠다.