[논문 리뷰] Multi-Modal Music Information Retrieval: Augmenting Audio-Analysis with Visual Computing for Improved Music Video Analysis

Alexander Schindler|arXiv (Cornell University)|2020. 02. 01.

Music and Audio Processing참고 문헌 274인용 수 7

한 줄 요약

이 논문은 음악 비디오에서 추출한 시각적 특징을 음성 기반 음악 정보 검색(MIR)에 통합하여 장르 분류 및 분위기 인식과 같은 작업의 성능을 향상시키는 것을 제안한다. 리듬 패턴을 캡처하는 새로운 시각적 특징을 도입하고, 고수준 개념 검출에 딥 러닝을 활용함으로써, 음성-시각 모델이 음성 전용 기준 모델 대비 최대 16.43% 향상된 성능을 보이며, 음악과 관련된 시각적 언어의 존재를 검증한다.

ABSTRACT

This thesis combines audio-analysis with computer vision to approach Music Information Retrieval (MIR) tasks from a multi-modal perspective. This thesis focuses on the information provided by the visual layer of music videos and how it can be harnessed to augment and improve tasks of the MIR research domain. The main hypothesis of this work is based on the observation that certain expressive categories such as genre or theme can be recognized on the basis of the visual content alone, without the sound being heard. This leads to the hypothesis that there exists a visual language that is used to express mood or genre. In a further consequence it can be concluded that this visual information is music related and thus should be beneficial for the corresponding MIR tasks such as music genre classification or mood recognition. A series of comprehensive experiments and evaluations are conducted which are focused on the extraction of visual information and its application in different MIR tasks. A custom dataset is created, suitable to develop and test visual features which are able to represent music related information. Evaluations range from low-level visual features to high-level concepts retrieved by means of Deep Convolutional Neural Networks. Additionally, new visual features are introduced capturing rhythmic visual patterns. In all of these experiments the audio-based results serve as benchmark for the visual and audio-visual approaches. The experiments are conducted for three MIR tasks Artist Identification, Music Genre Classification and Cross-Genre Classification. Experiments show that an audio-visual approach harnessing high-level semantic information gained from visual concept detection, outperforms audio-only genre-classification accuracy by 16.43%.

연구 동기 및 목표

• 음악 비디오의 시각적 콘텐츠가 음성과 무관하게 장르나 분위기와 같은 음악 관련 정보를 전달할 수 있는지 조사하기 위해.
• MIR 작업을 위한 음악 관련 의미를 표현할 수 있는 시각적 특징을 개발하고 평가하기 위해.
• 시각적 특징 추출 및 평가를 위한 맞춤형 데이터셋을 구축하기 위해.
• 비디오에서 시각적 스테레오타입(예: 컨트리 음악에서의 캡틴 모자)이 체계적으로 사용되고 탐지 가능한지 검증하기 위해.
• 음성-시각 융합이 음성 전용 기준 모델에 비해 MIR 작업 성능을 향상시키는지 입증하기 위해.

제안 방법

• 음악학 및 음악 심리학 분야의 문헌 조사로 음악 비디오 및 앨범 아트에서의 시각 브랜딩의 역사적 및 산업적 활용을 분석하였다.
• 시각적 특징 추출 방법의 학습 및 평가를 가능하게 하기 위해 음악 비디오의 맞춤형 데이터셋을 구축하였다.
• 저수준의 시각적 특징(예: 색상, 질감)과 고수준의 의미적 개념을 딥 컨volution 신경망(DCNNs)을 사용해 추출하였다.
• 음악 비디오의 리듬적 시각 패턴을 특별히 캡처하기 위해 설계된 새로운 시각적 특징을 제안하였다.
• 세 가지 MIR 작업(아티스트 식별, 음악 장르 분류, 크로스-장르 분류)에서 음성 전용 기준 모델과 비교하여 시각적 및 음성-시각 모델의 성능을 평가하였다.
• 음성 모odal의 통합으로 인한 성능 향상을 수량화하기 위해 음성 전용 모델과의 벤치마킹을 실시하였다.

실험 결과

연구 질문

• RQ1 음악 비디오의 시각적 콘텐츠만으로 음성 없이도 장르나 분위기와 같은 음악 관련 정보를 전달할 수 있는가?
• RQ2 비디오에서 시각적 스테레오타입(예: 컨트리 음악에서의 캡틴 모자)이 음악 장르와 얼마나 관련되어 있으며, 자동화된 분석을 통해 탐지 가능한가?
• RQ3 리듬적 시각 패턴을 캡처하는 데 특화된 새로운 시각적 특징의 효과는 무엇이며, 음악 관련 의미를 얼마나 잘 표현하는가?
• RQ4 음성 특징과 시각 특징을 융합하는 것이 음성 전용 접근 방식에 비해 MIR 작업 성능을 얼마나 향상시키는가?
• RQ5 고수준의 시각적 개념 검출은 음성 기반 MIR 시스템의 성능을 향상시킬 수 있으며, 그 정도는 어느 정도인가?

주요 결과

• 연구는 미국 컨트리 음악에서의 캡틴 모자와 같은 시각적 스테레오타입이 체계적으로 사용되며, 자동화된 분석을 통해 탐지 가능하다는 것을 확인하였다.
• 시각적 특징만으로도 음악 관련 정보를 캡처할 수 있어, 음악과 관련된 시각적 언어 존재 가설을 지지한다.
• 리듬적 시각 패턴을 캡처하는 데 특화된 제안된 시각적 특징은 영상 콘텐츠 내에서 음악 관련 의미를 효과적으로 표현한다.
• 음성-시각 모델은 평가된 모든 MIR 작업에서 음성 전용 기준 모델을 일관되게 능가한다.
• 최고의 음성-시각 접근 방식은 장르 분류 작업에서 음성 전용 기준 모델 대비 최대 16.43% 향상된 성능을 달성하였다.
• 고수준의 시각적 개념 검출은 MIR 성능을 크게 향상시키며, 다중모달 시스템에서 의미적 시각 정보의 가치를 입증한다.