[논문 리뷰] Exploring XAI for the Arts: Explaining Latent Space in Generative Music

Nick Bryan–Kinns, Berker Banar외 5명|arXiv (Cornell University)|2023. 08. 10.

Music and Audio Processing인용 수 10

한 줄 요약

한 줄 요약: 이 논문은 잠재 공간 생성 음악 모델(MeasuresVAE)을 잠재 공간 정규화, 실시간 UI 및 시각화를 통해 더 설명 가능하게 만들어 인터랙티브 디버깅과 공동 창작 사용을 가능하게 한다.

ABSTRACT

Explainable AI has the potential to support more interactive and fluid co-creative AI systems which can creatively collaborate with people. To do this, creative AI models need to be amenable to debugging by offering eXplainable AI (XAI) features which are inspectable, understandable, and modifiable. However, currently there is very little XAI for the arts. In this work, we demonstrate how a latent variable model for music generation can be made more explainable; specifically we extend MeasureVAE which generates measures of music. We increase the explainability of the model by: i) using latent space regularisation to force some specific dimensions of the latent space to map to meaningful musical attributes, ii) providing a user interface feedback loop to allow people to adjust dimensions of the latent space and observe the results of these changes in real-time, iii) providing a visualisation of the musical attributes in the latent space to help people understand and predict the effect of changes to latent space dimensions. We suggest that in doing so we bridge the gap between the latent space and the generated musical outcomes in a meaningful way which makes the model and its outputs more explainable and more debuggable.

연구 동기 및 목표

• XAI가 생성 음악에 어떻게 적용되어 이해 및 디버깅에 도움이 되는지 시연한다.
• 잠재 차원을 의미 있는 음악적 속성으로 매핑하여 설명 가능성을 높인다.
• 잠재 공간 조작을 탐색하기 위한 실시간의 사용자 친화적 인터페이스를 제공한다.
• 사용자가 outputs에 미치는 변화를 예측하는 데 도움이 되도록 잠재 공간 구조를 시각화한다.

제안 방법

• MeasureVAE를 잠재 공간 정규화로 확장하여 처음 네 개의 잠재 차원을 음악적 속성(rhythmic complexity, note range, note density, average interval jump)와 일치시키려 한다.
• 20,000개의 모노포닉 아이리시 민속 멜로디를 사용해 학습하고, 속성 특이적 정규화 손실을 VAE 목표에 추가하여 최적화한다.
• 두 개의 웹 UI(LSR 유무)를 개발하여 잠재 차원을 조작하고 시각화 및 재생을 위한 10,000개의 해독 변형을 생성한다.
• 시각화 제공: 학습 데이터 기여도 플롯과 2D 잠재 패드당 두 개의 표면 맵을 통해 속성 매핑과 출력 예측을 보여준다.
• 속성의 차원별 예측 가능성(해석 가능성 점수)을 통해 해석 가능성을 평가한다.
• 잠재 차원 변경이 즉시 생성 음악에 반영되는 실시간 피드백 루프를 시연한다.

Figure 1 : The simplified MeasureVAE

실험 결과

연구 질문

• RQ1 잠재 공간 정규화가 생성 음악 모델에서 잠재 차원을 의미 있는 음악 속성과 일치시키는 방법은 무엇인가?
• RQ2 실시간 UI 및 시각화가 MeasureVAE의 잠재 공간 조작에 대한 사용자의 이해와 디버깅을 개선할 수 있는가?
• RQ3 잠재 차원의 노출 및 정렬이 AI 음악 시스템의 설명 가능성 및 공동 창작 상호작용에 어떤 영향을 미치는가?

주요 결과

• LSR은 처음 네 개의 잠재 차원을 리드미컬한 복잡성, 음역, 음밀도, 평균 간격 점프에 대해 단조롭게 매핑하도록 강제한다.
• LSR은 네 가지 속성에 대해 해석 가능한 차원을 달성하며 해석 가능성 점수의 평균이 0.92로 나타난다(리드미컬한 복잡성 0.80, 음역 0.99, 음밀도 0.99, 평균 간격 점프 0.91).
• LSR의 재구성 정확도: 훈련 시 99.87%, 검증 시 99.68%(비-LSR: 99.84% 및 99.77%).
• 두 개의 웹 UI가 잠재 공간 패드를 실시간으로 탐색하고 입력 음과 생성된 악보를 재생하도록 한다.
• 표면 맵과 학습 데이터 기여도 플롯은 잠재 공간의 변화가 출력에 어떻게 영향을 주는지에 대한 직관적 시각 근거를 제공한다.
• 이 접근 방식은 피드백 루프와 더 강한 접지감을 지원하여 더 효과적인 디버깅 및 공동 창작 상호작용을 가능하게 한다.

Figure 2 : The simplified MeasureVAE with LSR