[논문 리뷰] In a Silent Way: Communication Between AI and Improvising Musicians Beyond Sound

Jon McCormack, Toby Gifford외 4명|arXiv (Cornell University)|2019. 02. 18.

Music Technology and Sound Studies인용 수 5

한 줄 요약

이 논문은 라이브 즉흥 연주 중에 인간 연주자로부터의 실시간 피부 전도도 데이터를 사용하여 AI 드러머가 감정 기호 기반의 시각적 표현을 통해 내부 신뢰도 상태를 공유함으로써 협업형 AI 드러머를 제안한다. 결과적으로 이러한 음악 외적 소통 방식이 인간 연주자의 플로우 상태를 크게 향상시키고, 비전문가 청취자들에 의해 긍정적으로 평가되는 더 균형 잡힌 음악적 성과를 이끌어낸다.

ABSTRACT

Collaboration is built on trust, and establishing trust with a creative Artificial Intelligence is difficult when the decision process or internal state driving its behaviour isn't exposed. When human musicians improvise together, a number of extra-musical cues are used to augment musical communication and expose mental or emotional states which affect musical decisions and the effectiveness of the collaboration. We developed a collaborative improvising AI drummer that communicates its confidence through an emoticon-based visualisation. The AI was trained on musical performance data, as well as real-time skin conductance, of musicians improvising with professional drummers, exposing both musical and extra-musical cues to inform its generative process. Uni- and bi-directional extra-musical communication with real and false values were tested by experienced improvising musicians. Each condition was evaluated using the FSS-2 questionnaire, as a proxy for musical engagement. The results show a positive correlation between extra-musical communication of machine internal state and human musical engagement.

연구 동기 및 목표

• 음악 외적 소통 방식을 통해 AI의 내부 상태를 인간의 즉흥 연주에 어떻게 영향을 주는지 실시간 즉흥 연주 환경에서 조사한다.
• 감정 기호를 통해 AI의 신뢰도를 시각화함으로써 인간-AI 음악 듀오에서 신뢰와 협업을 향상시키는지 평가한다.
• 생체 신호 피드백(피부 전도도)이 즉흥 연주 중 AI 행동과 인간의 연주 성과에 어떤 영향을 미치는지 평가한다.
• 청취자들이 음악 외적 신호가 포함된 연주와 포함되지 않은 연주를 어떻게 평가하는지, 특히 음악적 균형과 몰입감 측면에서 평가한다.
• 비청각적 신호가 인간과 창의적 AI 시스템 간의 플로우 상태 조성과 효과적인 공동 창작에 어떤 역할을 하는지 탐구한다.

제안 방법

• AI 드러머는 음악 연주 데이터와 인간 즉흥 연주자로부터의 실시간 피부 전도도(스킨 컨덕턴스, SC) 측정치를 기반으로 훈련되었다.
• AI의 내부 신뢰도 수준을 실시간으로 표현하기 위해 감정 기호 기반의 시각 시스템을 구현하여 연주 중에 표시하였다.
• 경험이 풍부한 즉흥 연주자들이 두 가지 조건(진실성 있는 조건: 감정 기호가 실제 신뢰도와 일치함, 속임수 조건: 감정 기호가 실제 신뢰도와 불일치함)에서 AI와 연주하였다.
• 플로우와 참여도 수준을 평가하기 위해 FSS-2 설문지를 사용하여 음악적 참여도를 측정하였다.
• 청취자 인식 평가를 위해 96명의 참가자가 참여한 온라인 A/B 청취 테스트를 실시하여 음악적 균형과 흥미를 비교 평가하였다.
• 즉흥 연주 중 인간 연주자로부터 생체 신호(피부 전도도) 데이터를 수집하여, 이 데이터가 AI의 생성 과정에 영향을 줄 수 있는지 탐구하였다.

실험 결과

연구 질문

• RQ1 감정 기호 기반의 시각적 표현을 통해 AI의 내부 상태를 공유함으로써 인간 연주자의 플로우 감각과 참여도가 향상되는가?
• RQ2 실제 신뢰도를 반영하는 진실성 있는 음악 외적 소통(감정 기호가 실제 신뢰도를 반영함)과 속임수 소통 간의 비교에서, 음악적 품질과 협업 효과성은 어떻게 다를까?
• RQ3 피부 전도도와 같은 생체 신호를 효과적으로 활용하여 AI 행동을 조정하고 인간-AI 즉흥 연주 협업의 유기적 조화를 향상시킬 수 있는가?
• RQ4 비전문가 청취자들은 음악 외적 신호가 포함된 AI 연주와 포함되지 않은 연주를 어떻게 평가하는가? 특히 음악적 균형과 흥미 측면에서.
• RQ5 음악 외적 소통은 인간-AI 음악 협업에서 신뢰 형성과 리스크 수용에 얼마나 기여하는가?

주요 결과

• 진실성 있는 시각화 조건에서 비율적으로 더 높은 음악적 균형 인식이 이루어졌으며, 55%의 청취자가 진실성 있는 조건의 연주를 더 균형 잡힌 것으로 선택하였다.
• A/B 청취 테스트 결과, 참가자의 53%가 진실성 있는 조건의 연주가 더 흥미로웠다고 평가했고, 55%는 더 균형 잡힌 것으로 평가하여 통계적으로 유의미한 선호도가 확인되었다.
• 감정 기호 기반의 신뢰도 시각화는 FSS-2 설문지를 통해 측정된 바에 따르면 인간 연주자가 플로우 상태에 더 잘 도달할 수 있도록 향상시켰다.
• 이전 연구에서 피부 전도도가 인간 듀오의 플로우 상태와 관련이 있음을 보여왔지만, 본 연구에서는 피부 전도도 데이터의 사용이 인간 연주자의 경험 향상에 기여하지 못했다. 이는 손목에 센서를 부착한 탓일 수 있다.
• 청취자 평가 결과, 음악 외적 신호가 인간-AI 즉흥 연주에 대한 인식 품질을 향상시키며, 비전문가 청취자들 사이에서도 긍정적인 영향을 미친다.
• 본 연구는 창의적 AI 시스템과 인간 간의 협업에서 비청각적 신호를 통해 AI의 내부 상태를 공유할 경우 더 몰입감 있고 효과적인 인간-기계 창작 협업이 이뤄질 수 있다는 가설을 지지한다.