[논문 리뷰] Shimon the Rapper: A Real-Time System for Human-Robot Interactive Rap Battles

Richard Savery, Lisa Zahray외 1명|arXiv (Cornell University)|2020. 09. 19.

Artificial Intelligence in Games참고 문헌 22인용 수 9

한 줄 요약

이 논문은 인간과 로봇이 실시간으로 힙합 랩 배틀을 펼 수 있도록 하는 실시간 상호작용 시스템인 Shimon the Rapper를 제시한다. 이 시스템은 음성 입력을 분석하고, 자음 기반 딥러닝을 통해 운율이 맞는 가사를 생성하며, 로봇의 제스처와 음성 출력을 동기화한다. 시스템은 낮은 지연 시간 성능을 달성했으며, 참가자들은 입력에 반응하는 출력을 선호했고, 힙합 스타일의 가사가 일관성, 운율 품질, 즐거움 측면에서 유의미하게 높은 평가를 받았다.

ABSTRACT

We present a system for real-time lyrical improvisation between a human and a robot in the style of hip hop. Our system takes vocal input from a human rapper, analyzes the semantic meaning, and generates a response that is rapped back by a robot over a musical groove. Previous work with real-time interactive music systems has largely focused on instrumental output, and vocal interactions with robots have been explored, but not in a musical context. Our generative system includes custom methods for censorship, voice, rhythm, rhyming and a novel deep learning pipeline based on phoneme embeddings. The rap performances are accompanied by synchronized robotic gestures and mouth movements. Key technical challenges that were overcome in the system are developing rhymes, performing with low-latency and dataset censorship. We evaluated several aspects of the system through a survey of videos and sample text output. Analysis of comments showed that the overall perception of the system was positive. The model trained on our hip hop dataset was rated significantly higher than our metal dataset in coherence, rhyme quality, and enjoyment. Participants preferred outputs generated by a given input phrase over outputs generated from unknown keywords, indicating that the system successfully relates its output to its input.

연구 동기 및 목표

• 인간 랩퍼와 로봇 간에 힙합 스타일의 즉흥적인 가사 상호작용을 가능하게 하는 실시간 시스템을 개발하는 것.
• 음성 상호작용을 위한 저지연 처리, 운율 생성, 음성 합성의 기술적 과제를 극복하는 것.
• 인간의 음성 입력에서 시작하여 동기화된 로봇 음성 및 제스처 출력에 이르는 완전한 통합 파이프라인을 구축하는 것.
• 사용자가 시스템의 가사 품질, 일관성, 입력에 대한 반응성에 대해 어떻게 평가하는지 평가하는 것.
• 새로운 로봇 예술가를 통해 신체화된 AI의 음악적 협업 잠재력을 탐색하는 것.

제안 방법

• 시스템은 인간 랩 입력의 실시간 오디오 분석을 통해 의미어 키워드와 음소적 특징을 추출한다.
• 자음 임베딩 기반의 맞춤형 딥러닝 파이프라인은 입력의 의미적 및 리듬적 맥락과 일치하는 운율이 맞는 가사를 생성한다.
• 랩 리듬은 가사의 syllable을 음악 박자에 맞추는 규칙 기반 시스템을 통해 생성되어 시간 정확성을 확보한다.
• 실시간 보컬라이저를 사용하여 생성된 가사와 리듬에 맞는 로봇 노래 음성 출력을 수행한다.
• 가사 내용과 억양에 연결된 사전 정의된 제스처 매핑을 활용해 로봇 제스처와 입동작을 음성 출력과 동기화한다.
• 불법적 언어를 필터링하여 사회적으로 적절한 출력을 보장하는 콘텐츠 검열 메커니즘이 포함되어 있다.

실험 결과

연구 질문

• RQ1 로봇은 실시간으로 인간의 라이브 음성 입력에 반응하여 일관성 있고 운율이 맞고 리듬적으로 정확한 랩 가사를 생성할 수 있는가?
• RQ2 힙합과 메탈 등의 다른 음악 장르 간에 시스템의 가사 품질 및 사용자 인식 성능는 어떻게 비교되는가?
• RQ3 사용자들은 로봇의 출력이 입력 문장에 대해 맥락적으로 관련성이 있다고 얼마나 느끼는가?
• RQ4 입력 기반 생성과 무작위 키워드 생성 간의 차이가 사용자 선호도에 어떤 영향을 미치는가?
• RQ5 사용자들은 로봇이 생성한 랩의 총합 즐거움, 일관성, 운율 품질을 어떻게 평가하는가?

주요 결과

• 참가자들은 주어진 입력 문장에서 생성된 가사를 랜덤 키워드에서 생성된 가사보다 유의미하게 선호했으며, 일표본 t-검정에서 p-값은 0.00033이었고, 평균 점수는 6.2/10이었다.
• 힙합 데이터셋은 메탈 데이터셋보다 일관성(p = 0.027)과 운율 품질(p = 0.017)에서 뚜렷하게 높게 평가되었다.
• 즐거움 역시 힙합 데이터셋에서 뚜렷하게 높게 평가되었으며(p = 0.046), 그러나 즐거움과 리듬 또는 품질과 같은 다른 지표 간에 강한 상관관계는 발견되지 않았다.
• 시스템은 낮은 지연 시간 성능을 달성하여 인간과 로봇 간의 실시간 랩 배틀 형식의 상호작용을 가능하게 했다.
• 사용자들은 시스템이 표현력이 풍부하고 예상보다 우수하다고 일관되게 기술했으며, 많은 이들이 로봇의 응답이 신선하고 창의적이라고 언급했다.
• 평가 결과, 음성 품질과 표현력이 사용자 인식의 핵심 요소였으며, 정성적 피드백에서 가사 내용에 대한 강조는 덜되었다.