[論文レビュー] Conditional Flow Matching for Visually-Guided Acoustic Highlighting

Hugo Malard, Gael Le Lan+4 more|arXiv (Cornell University)|Feb 3, 2026

Speech and Audio Processing被引用数 0

ひとこと要約

論文は visually guided acoustic highlighting を条件付きフローマッチング生成タスクとして再定義し、マルチステップ軌道の安定化のための rollout loss を導入、Mudddy Mix データセットで最先端の結果を達成する改良された audio-visual 条件付けモジュールを提案します。

ABSTRACT

Visually-guided acoustic highlighting seeks to rebalance audio in alignment with the accompanying video, creating a coherent audio-visual experience. While visual saliency and enhancement have been widely studied, acoustic highlighting remains underexplored, often leading to misalignment between visual and auditory focus. Existing approaches use discriminative models, which struggle with the inherent ambiguity in audio remixing, where no natural one-to-one mapping exists between poorly-balanced and well-balanced audio mixes. To address this limitation, we reframe this task as a generative problem and introduce a Conditional Flow Matching (CFM) framework. A key challenge in iterative flow-based generation is that early prediction errors -- in selecting the correct source to enhance -- compound over steps and push trajectories off-manifold. To address this, we introduce a rollout loss that penalizes drift at the final step, encouraging self-correcting trajectories and stabilizing long-range flow integration. We further propose a conditioning module that fuses audio and visual cues before vector field regression, enabling explicit cross-modal source selection. Extensive quantitative and qualitative evaluations show that our method consistently surpasses the previous state-of-the-art discriminative approach, establishing that visually-guided audio remixing is best addressed through generative modeling.

研究の動機と目的

• Visually guided acoustic highlighting (VisAH) を識別的な問題ではなく、分布間の生成問題として再定義する。
• 反復的な flow ベース生成における誤差蓄積を緩和する rollout loss を開発する。
• 音声特徴を視覚エンコーダへ統合する早期クロスモーダル条件付け機構を設計し、ソース選択と回帰を向上させる。

提案手法

• 動画ヒントに条件付けられた、音声分布を不均衡から均衡へ運ぶ条件付きフローマッチングを採用する。
• 短いフローステップ後の予測軌道全体を監視する rollout loss を導入し、ドリフトを防ぐ。
• 音声特徴を CLIP ベースの視覚エンコーダへ注入する音声機能付き条件付けアダプタを組み込み、早期のクロスモーダル結合を可能にする。
• フローのステップには正弦波時刻条件付けを用い、フローを通じたエンドツーエンドの誤差逆伝播で訓練する。

Figure 1 : We propose to cast visually-guided acoustic highlighting in the flow matching setup. Acoustic sources are iteratively highlighted or not based on the visual context. This simplified illustration shows that when audio and visual cues are opposed, the source is subdued. However, when they s

実験結果

リサーチクエスチョン

• RQ1 視覚ガイド付き音響ハイライトは、識別的なマッピングより生成的なフロー基盤モデルでより良く対処できるのか。
• RQ2 rollout loss を導入することで、視覚ガイド付きの音声リミックスにおける多ステップフロー統合の安定化が得られるのか。
• RQ3 音声特徴を視覚条件付けに早期統合することで、ソース選択とリミックス品質は改善されるのか。

主な発見

Model	IB Score	KLD	LDif	Mag	Env	Was
Input	28.14	20.74	18.36	22.69	6.29	1.96
VisAH | CLIP	28.84	11.37	9.66	9.99	3.38	0.84
VisAH | T5	28.92	11.71	9.63	10.22	3.44	0.88
VisAH-FM (Ours) | CLIP-CLAP	29.12	9.70	7.77	8.28	2.74	0.63

• rollout loss を伴う CFM が、従来の識別的 VisAH モデルより複数指標で上回る。
• 音声特徴を視覚エンコーダへ注入する条件付けモジュールは、視覚のみの条件付けより有意な改善をもたらす。
• rollout loss は軌道の安定化とドリフトの低減をもたらし、真値との長距離軌道整合を改善する。
• アブレーションにより、音声対応の条件付け（CLAP）は、テキストのみの条件付けよりこのタスクに有益であることが示される。
• 主観的評価では VisAH-FM が VisAH より音声と視覚シーンの整合性を高く示す。
• Muddy Mix データセットでの定量評価は、IB Score、KLD、LDif、Mag、Env、Was の指標でベースラインと比較して改善を示す。

Figure 2 : Illustration of rollout loss. Unlike the regular flow matching loss, which always uses a ground truth trajectory point as input, the rollout loss applies the loss after performing all the steps, forcing the model to have a coherent global trajectory to avoid compounding errors.