[논문 리뷰] Content-Based Video-Music Retrieval Using Soft Intra-Modal Structure Constraint

Sungeun Hong, Woobin Im외 1명|arXiv (Cornell University)|2017. 04. 22.

Music and Audio Processing참고 문헌 43인용 수 12

한 줄 요약

이 논문은 상호모달 랭킹 손실과 새로운 소프트 내모달 구조 제약을 사용하여 모odal 특징을 유지하는 콘텐츠 기반 영상-음악 검색을 위한 딥 네ural 네트워크인 VM-NET을 제안한다. 이 방법은 새로운 200K 영상-음악 벤치마크에서 기존 방법들을 능가하는 정량적 Recall@K 및 정성적 인간 선호 평가에서 최고 성능을 기록한다.

ABSTRACT

Up to now, only limited research has been conducted on cross-modal retrieval of suitable music for a specified video or vice versa. Moreover, much of the existing research relies on metadata such as keywords, tags, or associated description that must be individually produced and attached posterior. This paper introduces a new content-based, cross-modal retrieval method for video and music that is implemented through deep neural networks. We train the network via inter-modal ranking loss such that videos and music with similar semantics end up close together in the embedding space. However, if only the inter-modal ranking constraint is used for embedding, modality-specific characteristics can be lost. To address this problem, we propose a novel soft intra-modal structure loss that leverages the relative distance relationship between intra-modal samples before embedding. We also introduce reasonable quantitative and qualitative experimental protocols to solve the lack of standard protocols for less-mature video-music related tasks. Finally, we construct a large-scale 200K video-music pair benchmark. All the datasets and source code can be found in our online repository (https://github.com/csehong/VM-NET).

연구 동기 및 목표

• 영상과 음악에 대한 메타데이터 없이 콘텐츠 기반의 이종 모달 검색 방법의 부족을 해결하기 위해.
• 단지 상호모달 랭킹 손실만을 사용할 경우 발생하는 모달 고유 특징(예: 음악의 리듬, 영상의 텍스처) 손실 문제를 해결하기 위해.
• 이러한 데이터셋이 희소한 데서 비롯해 대규모로 공개 가능한 영상-음악 검색 벤치마크를 구축하기 위해.
• 현재 표준화된 기준이 없는 콘텐츠 기반 영상-음악 검색(CBVMR)을 위한 정량적 및 정성적 평가 프로토콜을 수립하기 위해.
• 메타데이터가 아닌 원시 콘텐츠만을 사용하여 이중 방향 검색(영상에 적합한 음악을 찾거나 반대로)을 가능하게 하기 위해.

제안 방법

• 영상 프레임과 오디오 신호를 공유 잠재 공간에 매핑하는 두 개의 브랜치로 구성된 딥 네럴 네트워크(VM-NET)를 제안한다.
• 상호모달 랭킹 손실을 사용하여 임베딩 공간에서 의미적으로 유사한 영상-음악 쌍이 가까이 오도록 네트워크를 훈련시킨다.
• 임베딩 이전에 각 모달 내 샘플 간의 상대적 거리 관계를 유지하는 소프트 내모달 구조 손실을 도입한다.
• 소프트 내모달 손실은 진정한 내모달 쌍이 필요로 하지 않아 약한 지도 학습 환경에서도 적용 가능하다.
• 기존의 음악 영상에서 동일한 영상의 오디오 및 시각적 세그먼트를 양성 쌍으로 간주하여 총 200,500개의 영상-음악 쌍을 생성한다.
• 정량적 Recall@K와 새로운 인간 선호 평가를 조합하여 검색 품질을 검증한다.

실험 결과

연구 질문

• RQ1 메타데이터에 의존하지 않고 콘텐츠만을 사용하여 딥 네럴 네트워크가 영상와 음악 간의 의미적 정렬을 효과적으로 학습할 수 있는가?
• RQ2 소프트 내모달 구조 손실을 통합함으로써 모달 고유 특징(예: 음악의 리듬, 영상의 텍스처)을 유지함으로써 검색 성능이 향상되는가?
• RQ3 기존 방법들과 비교하여 제안된 방법이 대규모 실세계 영상-음악 벤치마크에서 얼마나 효과적인가?
• RQ4 인간 평가자가 모델이 검색한 결과를 무작위 매칭이나 진정한 매칭보다 얼마나 선호하는가? 이는 실제 적용 가능성의 지표가 된다.
• RQ5 모델이 공식 음악 영상 외에도 사용자 생성 콘텐츠나 파러디 영상 등으로도 일반화 가능한가?

주요 결과

• 제안된 소프트 내모달 구조 손실은 음악의 리듬, 영상의 텍스처와 같은 모달 고유 특징을 유지함으로써 검색 성능을 크게 향상시킨다.
• 새로운 HIMV-200K 벤치마크에서 VM-NET는 Recall@K에서 최고 성능을 기록하여 향후 CBVMR 연구를 위한 정량적 기준을 설정한다.
• 인간 선호 평가 결과, 80%의 참가자가 무작위 매칭보다 진정한 매칭을 선호함으로써 데이터셋과 모델의 품질을 검증한다.
• 참가자들은 70%의 경우에서 모델의 결과(S)를 무작위 매칭(R)보다 선호하여, 모델이 인간이 수용할 수 있는 고품질 결과를 생성함을 시사한다.
• 모델는 공식 음악 영상 외에도 사용자 생성 및 파러디 영상 등으로도 잘 일반화되어, 관련 콘텐츠를 성공적으로 검색한다.
• 기계가 진정한 매칭(G)을 무작위 매칭(R)보다 선호하는 경향이 인간의 성능과 유사하게 나타나, 임베딩 공간이 인간의 인지와 잘 일치함을 시사한다.