[論文レビュー] Soundify: Matching Sound Effects to Video

David Chuan-En Lin, Anastasis Germanidis+3 more|arXiv (Cornell University)|Dec 17, 2021

Music and Audio Processing参考文献 35被引用数 4

ひとこと要約

Soundify は、CLIP の活性マップを活用して、プロのライブラリの高品質な効果音を動画に自動的に検出・同期・空間化する新規なシステムであり、作業負荷とタスク完了時間を著しく削減し、エキスパート評価でも使いやすさが向上した。音声生成モデルの学習を必要とせず、ゼロショットでの効果音マッチングを可能にし、好みと効率の両面で手作業編集を上回った。

ABSTRACT

In the art of video editing, sound helps add character to an object and immerse the viewer within a space. Through formative interviews with professional editors (N=10), we found that the task of adding sounds to video can be challenging. This paper presents Soundify, a system that assists editors in matching sounds to video. Given a video, Soundify identifies matching sounds, synchronizes the sounds to the video, and dynamically adjusts panning and volume to create spatial audio. In a human evaluation study (N=889), we show that Soundify is capable of matching sounds to video out-of-the-box for a diverse range of audio categories. In a within-subjects expert study (N=12), we demonstrate the usefulness of Soundify in helping video editors match sounds to video with lighter workload, reduced task completion time, and improved usability.

研究の動機と目的

• プロフェッショナルな編集ワークフローにおける、動画に効果音を手作業でマッチングさせる作業の時間食いと困難さに対処すること。
• 音声生成モデルを新たに訓練するのではなく、既存のスタジオ品質の効果音ライブラリを活用するシステムの開発。
• CLIP という画像・テキスト埋め込みモデルを再利用し、ゼロショットでの音声・映像対応検出を可能にする。
• 活性マップ解析を用いて、動画の内容に基づき、効果音の同期（タイムライン）と空間化（パンニング／ボリューム）を動的に制御すること。
• 大規模な人間評価とエキスパート研究を通じて、システムの有効性と使いやすさを評価すること。

提案手法

• CLIP が元々画像・テキスト分類に訓練されたことを踏まえ、その内部の活性マップを分析して音声・映像対応を検出するゼロショット音声検出器として再利用する。
• CLIP の活性マップの空間座標を用いて、ステレオフィールド内での効果音のパンニング（左右位置）を決定する。
• 活性マップの面積を用いて、各効果音の相対的ボリュームを推定し、視覚的注目度に応じた動的な音量調整を実現する。
• 動画の内容と効果音クリップのメタデータのラベル一致を用いて、プロフェッショナルグレードの効果音ライブラリから該当するクリップを検索する。
• 視覚的イベントの検出位置と一致するように、効果音クリップのタイムスタンプ開始時刻を自動的に同期する。
• 複数の音声レイヤー（例：フォアグラウンド効果音とアバランチ音）の重ね合わせをサポートし、複雑で没入感のあるオーディオ環境を構築する。

実験結果

リサーチクエスチョン

• RQ1 CLIP の活性マップを用いたゼロショットアプローチは、微調整や音声生成モデルの学習を経ずに、動画内の関連する効果音を効果的に検出できるか？
• RQ2 Soundify は、複雑な動画コンテンツに多様な効果音を自動的にマッチングさせる際、手作業ベースライン手法と比較してどの程度優れているか？
• RQ3 Soundify は、プロフェッショナルな動画編集ワークフローにおいて、作業負荷、タスク完了時間の削減、使いやすさの向上にどの程度寄与するか？
• RQ4 プロの編集者が実際の編集シナリオにおいて、Soundify の正確さ、直感性、実用性をどの程度高く評価するか？

主な発見

• 889名の被験者を対象とした大規模な人間評価において、Soundify の結果は、多様な音声カテゴリにわたり、ベースラインと比較して有意に好まれた。
• 12名のプロフェッショナル編集者を対象とした被験者内エキスパート研究において、Adobe Premiere Pro での手作業編集と比較して、Soundify はタスク完了時間を統計的に有意に短縮した。
• 被験者は Soundify を使用した際、作業負荷が有意に低かった（p=0.003）、すなわち認知的・身体的負担が明確に減少した。
• 使いやすさは Soundify の方が有意に高かった（7段階スケールで平均=6.03 vs. 4.70、p=0.003）、被験者は説明書がなくても簡単に学び、使用できたと報告した。
• 編集者は、自動シーン分割、シーンごとのオーディオエクスポート、動的パンニングといった機能を高く評価し、従来のDAWで繰り返しキーフレーム設定が必要な作業が不要になったと述べた。
• キーワード検索なしで関連する効果音を特定できることに効果的で、被験者は「音源探しの宝探しがなくなる」という点を主な利点として挙げた。