[논문 리뷰] Soundify: Matching Sound Effects to Video

David Chuan-En Lin, Anastasis Germanidis외 3명|arXiv (Cornell University)|2021. 12. 17.

Music and Audio Processing참고 문헌 35인용 수 4

한 줄 요약

Soundify는 전문가 라이브러리에서 고품질의 사운드 에프ekt를 자동으로 검출하고, 동기화하며, 공간화하는 데 CLIP의 활성화 맵을 활용하는 혁신적인 시스템이다. 이는 작업량과 작업 완료 시간을 크게 줄이며 전문가 평가에서 사용성도 향상시킨다. 학습된 오디오 생성 모델 없이도 제로샷 사운드 매칭을 가능하게 하여 수동 편집보다 선호도와 효율성에서 뛰어나다.

ABSTRACT

In the art of video editing, sound helps add character to an object and immerse the viewer within a space. Through formative interviews with professional editors (N=10), we found that the task of adding sounds to video can be challenging. This paper presents Soundify, a system that assists editors in matching sounds to video. Given a video, Soundify identifies matching sounds, synchronizes the sounds to the video, and dynamically adjusts panning and volume to create spatial audio. In a human evaluation study (N=889), we show that Soundify is capable of matching sounds to video out-of-the-box for a diverse range of audio categories. In a within-subjects expert study (N=12), we demonstrate the usefulness of Soundify in helping video editors match sounds to video with lighter workload, reduced task completion time, and improved usability.

연구 동기 및 목표

• 전문 편집 워크플로우에서 영상에 사운드 에프ekt를 수작업으로 매칭하는 데 소요되는 시간과 어려움을 해결하기 위해.
• 오디오 생성 모델을 처음부터 훈련시키는 대신 기존의 스튜디오 수준의 사운드 라이브러리를 활용하는 시스템을 개발하기 위해.
• CLIP, 이미지-텍스트 임bed딩 모델을 재사용하여 오디오-비주얼 대응 감지를 위한 제로샷 사운드 매칭을 가능하게 하기 위해.
• 활성화 맵 분석을 통해 영상 콘텐츠에 기반해 사운드 에프ekt의 동적 동기화 및 공간화(패닝/볼륨)를 수행하기 위해.
• 대규모 인간 평가와 전문가 연구를 통해 시스템의 효과성과 사용성 평가를 수행하기 위해.

제안 방법

• 이미지-텍스트 분류를 위해 훈련된 CLIP을 오디오-비주얼 대응 감지를 위해 내부 활성화 맵을 분석함으로써 제로샷 사운드 검출기로 재사용한다.
• CLIP의 활성화 맵의 공간 좌표를 활용해 스테레오 필드 내에서 사운드 에프ekt의 최적의 패닝(좌우 위치)을 결정한다.
• 활성화 맵의 면적을 사용해 각 사운드 에프ekt의 상대적 볼륨을 추정함으로써, 시각적 주목도에 따라 동적 음량을 확보한다.
• 영상 콘텐츠와 사운드 클립 메타데이터 간의 레이블 매칭을 통해 전문 수준의 사운드 에프ekt 라이브러리에서 매칭되는 사운드 클립을 검색한다.
• 영상 프레임 내에서 감지된 시각적 이벤트의 시간적 시작점과 사운드 클립의 시간적 시작점을 정렬함으로써 사운드 클립을 영상에 자동으로 동기화한다.
• 예를 들어 프론트엔드 효과와 배경 음향을 포함한 여러 사운드 레이어를 스택하여 복잡하고 몰입감 있는 오디오 환경을 생성할 수 있도록 지원한다.

실험 결과

연구 질문

• RQ1 CLIP의 활성화 맵을 사용한 제로샷 접근 방식이, 미세조정이나 오디오 생성 훈련 없이도 영상 내 관련 사운드 에프ekt를 효과적으로 감지할 수 있는가?
• RQ2 Soundify는 복잡한 영상 콘텐츠에 다양한 사운드 에프ekt를 자동으로 매칭하는 데에서 수동 기반 기준 대비 얼마나 잘 수행되는가?
• RQ3 Soundify는 전문 영상 편집 워크플로우에서 작업량, 작업 완료 시간을 얼마나 줄이고 사용성을 향상시키는가?
• RQ4 전문 편집자가 실제 편집 시나리오에서 Soundify의 정확도, 직관성, 실용성에 대해 어떻게 평가하는가?

주요 결과

• 889명의 평가자들이 참여한 대규모 인간 평가에서, Soundify는 다양한 오디오 카테고리에 걸쳐 영상에 사운드를 매칭하는 데에서 기준 대비 유의미하게 더 선호되었다.
• 12명의 전문 편집자가 참여한 내부 대조 전문가 연구에서, Adobe Premiere Pro에서 수동 편집 대비 Soundify는 작업 완료 시간을 통계적으로 유의미하게 단축시켰다.
• 사용자들은 Soundify를 사용할 때 유의미하게 낮은 작업 부하를 경험했다(p=0.003), 이는 인지적 및 신체적 노력이 감소했음을 시사한다.
• 사용성은 Soundify 사용 시 유의미하게 높았다(7점 척도에서 평균 6.03 vs. 4.70, p=0.003), 사용자가 지침 없이도 쉽게 학습하고 사용할 수 있었다.
• 편집자들은 자동 장면 분할, 장면별 오디오 내보내기, 동적 패닝과 같은 기능을 높이 평가했으며, 기존 DAW에서 반복적인 키프레임 설정이 제거되었다고 언급했다.
• 사용자들은 키워드 검색 없이도 관련 사운드 에프ekt를 효과적으로 식별할 수 있었으며, 특히 '보물 찾기'를 위한 수고가 제거된 점을 주요 이점으로 강조했다.