[논문 리뷰] Is there a "language of music-video clips" ? A qualitative and quantitative study

Laure Prétet, Gaël Richard외 1명|arXiv (Cornell University)|2021. 08. 02.

Music and Audio Processing참고 문헌 27인용 수 12

한 줄 요약

이 연구는 공식 음악 영상(OMVs)에서 음악과 영상의 구조적 사건 간의 동기화를 분석함으로써 '음악-비디오 클립의 언어'가 존재하는지 조사한다. 허모닉스 데이터셋에서 유래한 527개의 공식 음악 영상에 대한 정량적 분석과 정성적 전문가 인터뷰를 통해, 음악-비디오 동기화가 장르에 따라 달라지며, 특히 팝, R&B, 댄스 장르에서 功能적 세그먼트 및 다운비트 경계에서 강한 공존 관계를 보임을 확인한다. 음악 정보 처리(MIR) 도구(박자/바/세그먼트 검출)와 컴퓨터 비전(샷 검출)을 활용하여 수행된 분석 결과, 음악-비디오 간의 동기화는 장르에 따라 유의미하게 다를 뿐 아니라, 특정한 음악-비디오 상호작용 패턴이 존재함을 입증한다.

ABSTRACT

Recommending automatically a video given a music or a music given a video has become an important asset for the audiovisual industry - with user-generated or professional content. While both music and video have specific temporal organizations, most current works do not consider those and only focus on globally recommending a media. As a first step toward the improvement of these recommendation systems, we study in this paper the relationship between music and video temporal organization. We do this for the case of official music videos, with a quantitative and a qualitative approach. Our assumption is that the movement in the music are correlated to the ones in the video. To validate this, we first interview a set of internationally recognized music video experts. We then perform a large-scale analysis of official music-video clips (which we manually annotated into video genres) using MIR description tools (downbeats and functional segments estimation) and Computer Vision tools (shot detection). Our study confirms that a "language of music-video clips" exists; i.e. editors favor the co-occurrence of music and video events using strategies such as anticipation. It also highlights that the amount of co-occurrence depends on the music and video genres.

연구 동기 및 목표

• 공식 음악 영상(OMVs)에서 음악과 영상의 시간적 구조 간 체계적인 관계가 존재하는지 조사하기.
• 전문 음악 영상 편집자가 제작 과정에서 오디오와 비디오 사건을 어떻게 동기화하는지 이해하기.
• 다양한 장르에 걸쳐 음악의 구조적 사건(박자, 바, 功能적 세그먼트)과 영상의 샷 경계 간 정렬 정도를 정량화하기.
• 자동 음악-비디오 추천 및 생성 시스템의 향상을 위한 데이터 기반 통찰 제공하기.
• 장르별 음악-비디오 동기화 패턴이 더 나은 다중모달 추천 모델 개발에 어떻게 기여할 수 있는지 탐색하기.

제안 방법

• 국제적으로 인정받는 음악 영상 전문가 3명(작곡가, 감독, 편집자)을 대상으로 심층 인터뷰를 실시하여 동기화 기법에 대한 정성적 통찰 확보하기.
• 허모닉스 데이터셋에서 유래한 527개의 공식 음악 영상 분석: 수작업으로 장르 분류 및 MIR 도구를 활용한 박자, 바, 功能적 세그먼트 검출 처리.
• 컴퓨터 비전 기법(TransNet 기반의 샷 검출)을 적용하여 영상의 샷 경계 식별하기.
• 음악과 영상의 구조적 경계 간 공존 정도를 측정하기 위해 동기화 점수 $ S $ 를 정의하며, 功能적 세그먼트($ l_{seg} $)와 다운비트($ l_{bar} $) 별로 별도로 계산.
• 95% 신뢰구간을 포함한 $ S $ 를 계산하여, 음악과 영상의 경계 간 설명력 비율을 정량화하기.
• 다양한 음악 및 영상 장르 간 $ S $ 값의 집계 및 비교를 통해 장르 기반 동기화 패턴 규명하기.

실험 결과

연구 질문

• RQ1 전문 음악 영상 편집자는 박자, 바, 또는 功能적 세그먼트와 같은 음악의 구조적 사건과 영상의 샷 경계를 의도적으로 동기화하는가?
• RQ2 음악과 영상의 구조적 사건 간 동기화 정도가 다양한 음악 및 영상 장르에 따라 어떻게 달라지는가?
• RQ3 공식 음악 영상에서 음악 이벤트의 타이밍과 영상의 샷 전환 간 측정 가능하고 정량화 가능한 관계가 존재하는가?
• RQ4 음악 세그먼트와 영상 세그먼트의 지속 시간은 어떻게 상관관계를 가지며, 이 상관관계는 장르에 따라 어떻게 달라지는가?
• RQ5 관찰된 동기화 패턴을 활용하여 자동 음악-비디오 추천 시스템의 성능을 향상시킬 수 있는가?

주요 결과

• 이 연구는 공식 음악 영상에서 편집자가 다운비트나 功能적 세그먼트 경계와 같은 음악의 구조적 사건과 영상의 샷 경계를 체계적으로 정렬함으로써 '음악-비디오 클립의 언어' 존재를 확인한다.
• 팝 음악의 경우 功能적 세그먼트에 대한 동기화 점수 $ S(l_{seg}) $ 는 0.36 ± 0.02로 가장 높아 샷 전환과 功能적 세그먼트 경계 간 강한 정렬을 나타낸다.
• R&B 음악의 경우 다운비트에 대한 $ S(l_{bar}) $ 는 0.31 ± 0.03에 도달하여 샷 전환이 다운비트와 뚜렷하게 공존함을 보여준다.
• 댄스/일렉트로닉 음악는 세그먼트 지속 시간의 상관관계는 높지만 $ S(l_{seg}) $ 는 0.18 ± 0.05로 낮아, 지속 시간은 일치하지만 경계가 항상 정렬되지 않는다는 점을 시사한다.
• 댄스 및 컨셉 장르의 영상에서는 각각 $ S(l_{bar}) $ 가 0.24 및 0.23로 높아, 리듬적인 시각 효과를 위해 의도적으로 비트 동기화 편집이 이루어짐을 반영한다.
• 퍼포먼스 장르는 낮은 동기화 수준($ S(l_{bar}) = 0.16 $)을 보이며, 이는 리듬 기반 편집이 적고 연속적인 카메라 움직임이 많기 때문일 가능성이 높다. 반면 '기타' 장르 영상의 경우 최소한의 동기화($ S = 0.11 $)를 보이며, 실험적 또는 비리듬 기반 편집 스타일을 반영한다.