[論文レビュー] Semantic visually-guided acoustic highlighting with large vision-language models

Junhua Huang, Chao Huang+1 more|arXiv (Cornell University)|Jan 12, 2026

Multimodal Machine Learning Applications被引用数 0

ひとこと要約

要約: 論文は凍結された大規模視覚言語モデルを用いて六つの視覚的意味ニュアンスを抽出し、視覚的に整合した音声リミックスの品質指標となるニュアンスを系統的に評価した。その結果、カメラの焦点とシーン背景が知覚的混合品質に最も有用であり、軽量なモデルでも最先端の成果を達成することを示した。

ABSTRACT

Balancing dialogue, music, and sound effects with accompanying video is crucial for immersive storytelling, yet current audio mixing workflows remain largely manual and labor-intensive. While recent advancements have introduced the visually guided acoustic highlighting task, which implicitly rebalances audio sources using multimodal guidance, it remains unclear which visual aspects are most effective as conditioning signals.We address this gap through a systematic study of whether deep video understanding improves audio remixing. Using textual descriptions as a proxy for visual analysis, we prompt large vision-language models to extract six types of visual-semantic aspects, including object and character appearance, emotion, camera focus, tone, scene background, and inferred sound-related cues. Through extensive experiments, camera focus, tone, and scene background consistently yield the largest improvements in perceptual mix quality over state-of-the-art baselines. Our findings (i) identify which visual-semantic cues most strongly support coherent and visually aligned audio remixing, and (ii) outline a practical path toward automating cinema-grade sound design using lightweight guidance derived from large vision-language models.

研究の動機と目的

• 視覚的意味ニュアンスのうち、音像リミックスに最も影響を与える要因を識別する。
• 六つの LVLM由来手掛かりを系統的にアブレーションしてリミックス品質への有効性を評価する。
• LVLM由来の手掛かりが、音声のみや従来の多模態ベースより軽量なモデルで優れた結果を出せることを示す。
• LVLM由来の信号を用いたシネマ級サウンドデザインの自動化に実践的な指針を提供する。

提案手法

• テキスト条件付け経路を備えた VisAH 風のエンドツーエンドリミックスフレームワークを採用。
• 感情、物体、シーン、トーン、音源、カメラ焦点の六つの意味的手掛かりを促音促進型条件付けで注入。
• 焦点を絞ったプロンプトと最小限プロンプトを比較して grounding fidelity と幻視リスクを評価。
• MuddyMix 風の標準セットアップで MAG、ENV、KLD、ΔIB、W-dis 指標を用いて評価。
• トランスフォーマーの深さを系統的に変化させ（L=0,3,6）自己注意の必要性を評価する。

Fig. 1 : Overview identical to VisAH [ 6 ] except the text feature module (orange) feeding the context encoder.

実験結果

リサーチクエスチョン

• RQ1 自動リミックスにおいて、どの視覚意味ニュアンスが知覚品質と映像音声の整合性を安定して向上させるか？
• RQ2 視覚情報の grounding において、焦点を絞ったプロンプトは最小プロンプトより優れているか？
• RQ3 LVLM由来の手掛かりで条件付けした場合、トランスフォーマーの深さはリミックス性能にどのような影響を及ぼすか？
• RQ4 LVLM由来のガイダンスは、パラメータ数が少なく浅いアーキテクチャでも最先端の成果を達成できるか？

主な発見

方法	MAG	ENV	KLD	ΔIB	W-dis
Poorly Mixed Input	22.69	6.30	20.61	1.52	1.94
DnRv3 + CDX	26.32 ( -16% )	7.62 ( -21% )	15.87 ( +23% )	1.78 ( -17% )	2.84 ( -46% )
Learn2Remix	19.07 ( +16% )	4.16 ( +34% )	61.76 ( -200% )	8.27 ( -444% )	1.20 ( +38% )
LCE–SepReformer	17.18 ( +24% )	4.28 ( +32% )	30.99 ( -50% )	1.88 ( -24% )	1.28 ( +34% )
VisAH	10.08 ( +56% )	3.43 ( +46% )	11.01 ( +47% )	0.80 ( +47% )	0.79 ( +59% )
SemMix-Camera Focus	9.99 ( +56% )	3.41 ( +46% )	10.95 ( +47% )	0.87 ( +43% )	0.79 ( +59% )

• カメラ焦点は VisAH 基準に対して MAG、ENV、KLD のすべてで最も大きな改善をもたらす。
• シーン（設定と時間）と音源（可視），これらは小さな改善を安定して生む。
• 物体（顕著さ）と色調（色とムード）は有益性が低いか、特定の指標を損なうことがある。
• 焦点を絞ったプロンプトは一般に最小プロンプトを上回り、grounding を改善し幻視を減らす。
• 三層トランスフォーマー（L=3）と焦点を絞ったプロンプトは強力な性能を達成し、深さが増すと収穫が減少する。
• SemMix は prior SOTA より 18.94M 少ないパラメータで、より浅いアーキテクチャを用いながらより良い結果を達成。

Fig. 2 : Model performance using focused prompt Camera Focus from layer 0 to layer 6. shaded bands show cross-metric spread (min–max and IQR). The mean curve peaks at $L{=}3$ ; $L{=}5/6$ offer mild W-dis polish.