[논문 리뷰] The Machine Learning Algorithm as Creative Musical Tool

Rebecca Fiebrink, Baptiste Caramiaux|arXiv (Cornell University)|2016. 11. 01.

Music Technology and Sound Studies인용 수 25

한 줄 요약

이 논문은 기계 학습 알고리즘을 인간-컴퓨터 인터페이스로 재정의하여 음악가와 사운드 생성 시스템 간의 새로운 상호작용적 관계를 가능하게 한다. 데이터를 통해 시스템을 가르치고자 하는 방식으로 코드 기반 프로그래밍이 아닌, 이는 탄생하는 음악적 행동과 공창적 설계 과정을 이끌어내며, 전통적인 규칙 기반 프로그래밍보다 더 뛰어난 표현력과 적응성을 제공한다.

ABSTRACT

Machine learning is the capacity of a computational system to learn structures from datasets in order to make predictions on newly seen data. Such an approach offers a significant advantage in music scenarios in which musicians can teach the system to learn an idiosyncratic style, or can break the rules to explore the system's capacity in unexpected ways. In this chapter we draw on music, machine learning, and human-computer interaction to elucidate an understanding of machine learning algorithms as creative tools for music and the sonic arts. We motivate a new understanding of learning algorithms as human-computer interfaces. We show that, like other interfaces, learning algorithms can be characterised by the ways their affordances intersect with goals of human users. We also argue that the nature of interaction between users and algorithms impacts the usability and usefulness of those algorithms in profound ways. This human-centred view of machine learning motivates our concluding discussion of what it means to employ machine learning as a creative tool.

연구 동기 및 목표

• 기계 학습 알고리즘을 수동적인 통계 도구로 보는 것에서 벗어나, 음악 창작을 위한 능동적이고 상호작용적인 인터페이스로 재정의하고자 한다.
• 기계 학습 상호작용의 설계가 음악 기술의 사용성과 예술적 잠재력에 어떻게 영향을 미치는지 탐구하고자 한다.
• 사용자와 알고리즘이 창작 과정에서 피드백 루프를 통해 상호 공진화함으로써 탄생하는 음악적 행동을 조사하고자 한다.
• 기계 학습을 단지 정확도에 국한된 것으로 보는 전통적 관점을 도전하고, 음악 분야에 적용할 때 인간 중심적이고 예술적인 시각을 제안하고자 한다.
• 결정론적 규칙 기반 시스템이 아닌 표현력, 놀라움, 사용자 주도적 탐색을 우선시하는 음악 기술의 새로운 설계 철학을 동력으로 삼고자 한다.

제안 방법

• 음악 창작에서 사용자 목표와 관련된 기계 학습의 가능성을 분석함으로써, 기계 학습을 인간-컴퓨터 인터페이스로 프레임화한다.
• 실험 음악 및 일렉트로아쿠스틱 음악의 사례 연구를 통해 작곡가들이 코드가 아닌 데이터를 통해 시스템을 가르치는 방식을 설명한다.
• 사용자가 훈련 및 테스트 데이터를 실시간으로 조작하여 시스템 행동을 조율하는 상호작용적이고 반복적인 설계 과정을 강조한다.
• 사용자와 알고리즘이 학습 과정 내에서 피드백을 통해 상호 적응하는 '공동 설계' 개념을 도입한다.
• 대화나 항해와 같은 음악적 상호작용 메타포를 활용해 사용자와 ML 시스템 간의 비선형적이고 동적인 관계를 묘사한다.
• 알고리즘 행동이 데이터 기반 학습에서 유래하며, 명시적 프로그래밍을 초월해 놀라운 사운드 결과를 가능하게 한다고 제안한다.

실험 결과

연구 질문

• RQ1 기계 학습 알고리즘이 단지 예측 모델이 아니라 음악 창작에서 상호작용적 인터페이스로 이해될 수 있는 방법은 무엇인가?
• RQ2 기계 학습 알고리즘의 가능성이 음악가와 사운드 예술가의 예술적 목표와 어떻게 만날 수 있는가?
• RQ3 사용자-알고리즘 상호작용의 성격이 음악 기술의 사용성과 창작 잠재력에 어떤 영향을 미치는가?
• RQ4 사용자와 알고리즘 간의 피드백이 음악적 표현과 시스템 행동의 공진화 과정에서 수행하는 역할은 무엇인가?
• RQ5 기계 학습이 규칙 기반 시스템보다 더 표현력 있고 적응력 있으며 개방적인 음악 시스템 설계를 어떻게 지원할 수 있는가?

주요 결과

• 기계 학습을 통해 음악가들은 코드를 작성하는 대신 데이터 예시를 통해 표현력 있고 독특한 음악 시스템을 창출할 수 있다.
• 사용자와 알고리즘 간의 상호작용은 공진화를 촉진한다: 사용자가 입력을 조정함에 따라 시스템 행동이 변화하고, 사용자는 시스템에 대한 이해를 더욱 다듬는다.
• 사용자와 알고리즘 간의 피드백 루프는 초반 입력이 일관되지 않거나 잘못되었더라도 시간이 지남에 따라 성능과 일관성이 향상됨을 보여준다.
• 기계 학습 시스템은 음악 상호작용에서 '폭풍우의 배' 또는 '현명한 친구'로 기능할 수 있으며, 기존 제어 철학을 초월해 놀라움과 동적 반응성을 제공한다.
• 기계 학습의 음악적 잠재력은 정확도에 국한되지 않으며, 데이터 기반 학습을 통해 새로운 예측 불가능한 사운드 관계를 창출할 수 있는 능력에 있다.
• 학습 알고리즘을 인터페이스로 간주함으로써, 디자이너들은 몸으로 느끼는 음악 실천 방식을 반영하는 더 직관적이고 탐색 중심적이며 예술적으로 의미 있는 음악 기술을 창출할 수 있다.