[논문 리뷰] Is Disentanglement enough? On Latent Representations for Controllable Music Generation

Ashis Pati, Alexander Lerch|arXiv (Cornell University)|2021. 08. 01.

Music and Audio Processing인용 수 6

한 줄 요약

이 논문은 VAE 기반 음악 생성 모델에서 분리된 표현이 진정한 제어 가능성(컨트롤러빌리티)을 가능하게 하는지 조사한다. 감독된 분리 기법은 높은 분리도를 달성하지만, 본 연구는 제어 가능성은 단지 분리도뿐 아니라 생성 디코더의 구조와 잠재공간의 연속성에 크게 의존함을 발견한다. 이는 강력한 분리도가 존재하더라도 잠재공간의 빈도와 디코더 설계의 결함이 속성 조작을 심각하게 제한함을 시사한다.

ABSTRACT

Improving controllability or the ability to manipulate one or more attributes of the generated data has become a topic of interest in the context of deep generative models of music. Recent attempts in this direction have relied on learning disentangled representations from data such that the underlying factors of variation are well separated. In this paper, we focus on the relationship between disentanglement and controllability by conducting a systematic study using different supervised disentanglement learning algorithms based on the Variational Auto-Encoder (VAE) architecture. Our experiments show that a high degree of disentanglement can be achieved by using different forms of supervision to train a strong discriminative encoder. However, in the absence of a strong generative decoder, disentanglement does not necessarily imply controllability. The structure of the latent space with respect to the VAE-decoder plays an important role in boosting the ability of a generative model to manipulate different attributes. To this end, we also propose methods and metrics to help evaluate the quality of a latent space with respect to the afforded degree of controllability.

연구 동기 및 목표

• 잠재 표현에서의 높은 분리도가 상징적 음악 생성에서 효과적인 제어 가능성으로 이어지는지 조사하기.
• 다양한 감독된 분리 기법이 생성 과정 중 속성 조작에 미치는 영향 평가하기.
• 특히 빈도가 있는 잠재공간의 구조적 한계—특히 제어 가능성을 저해하는 빈도—特定하기.
• 잠재공간 연속성과 제어 가능성과의 관계를 정량화하기 위해 새로운 지표(LDR) 제안 및 검증하기.
• 디코더 설계와 생성 모델링의 품질이 분리된 인코더만큼이나 제어 가능한 음악 생성에 핵심적임을 강조하기.

제안 방법

• I-VAE, AR-VAE, S2-VAE 세 가지 감독된 분리 기법을 적용한 VAE를 훈련시켰으며, 각각 잠재공간에 속성별 정규화를 적용함.
• 통합 손실 함수를 사용: L = L_VAE + γ·L_reg, 여기서 γ는 특정 속성(예: 스케일, 아르페지오)에 대한 정규화 강도를 조절함.
• 정규화된 잠재차원을 따라 탐색(traversal)을 수행하여 음악을 생성하고, 정성적 및 정량적 분석을 통해 제어 가능성 평가함.
• 잠재공간의 빈도로 인해 예측 불가능한 속성 조작이 발생하는 것을 방지하기 위해 잠재공간 연속성의 정도를 수치화하는 데 사용된 Latent Discontinuity Rate (LDR) 지표 제안.
• 분리도(예: MIG 및 dci 지표를 통한 평가)와 제어 가능성(생성 샘플에서의 속성 일관성 및 예측 가능성)을 비교하는 체계적 실험 수행.
• 스케일, 아르페지오 방향, 노트 밀도 등의 속성을 포함한 상징적 음악 데이터를 사용하여, 정성적 샘플과 정량적 지표를 모두 활용해 모델 평가함.

실험 결과

연구 질문

• RQ1 잠재공간에서의 높은 분리도가 특정 음악적 속성의 제어 가능한 조작으로 얼마나 잘 이어지는가?
• RQ2 I-VAE, AR-VAE, S2-VAE와 같은 다양한 감독된 분리 기법 간에 예측 가능하고 독립적인 속성 제어를 위한 성능 비교는 어떻게 되는가?
• RQ3 생성 디코더의 구조가 강력한 분리도가 존재하더라도 제어 가능성의 향상 또는 제한에 어떤 역할을 하는가?
• RQ4 잠재공간의 빈도가 생성 과정 중 속성 조작의 예측 가능성과 일관성에 어떤 영향을 미치는가?
• RQ5 LDR라는 새로운 지표가 제어 가능성에 악영향을 미치는 잠재공간의 불연속성을 효과적으로 정량화할 수 있는가?

주요 결과

• 모든 세 가지 감독된 분리 기법이 높은 분리도 점수를 기록함(예: MIG > 0.8), 이는 잠재공간 내 잠재된 요소들이 강력하게 분리되어 있음을 시사함.
• 유사한 분리도 성능에도 불구하고 제어 가능성은 크게 다름: AR-VAE와 S2-VAE는 예측 가능하고 일관된 속성 변화를 가능하게 했지만, I-VAE는 아르페지오 방향에 대해 일관되지도 않고 예측 불가능한 변화를 보임.
• I-VAE 방법은 스케일 제약을 위반하는 멜로디를 생성함(예: 목표 스케일 외부의 음을 생성함), 이는 스케일 속성에 대한 제어가 열악함을 시사함.
• 잠재공간의 빈도로 인해 탐색 과정에서 예측 불가능한 속성 변화가 발생함. 예를 들어, 정규화된 상태에서도 알려지지 않은 아르페지오 방향을 가진 코드를 생성함.
• LDR 지표는 잠재공간의 불연속성을 효과적으로 정량화했으며, 높은 LDR와 열악한 제어 가능성 간 강한 상관관계를 보임.
• 연구는 분리도만으로는 제어 가능성 확보가 불충분하며, 잠재벡터를 의미 있고 연속적이며 일관된 음악 출력으로 매핑할 수 있는 생성 디코더의 능력이 분리된 인코더와 동등하게 핵심적임을 결론 내림.