[논문 리뷰] Semantic visually-guided acoustic highlighting with large vision-language models

Junhua Huang, Chao Huang외 1명|arXiv (Cornell University)|2026. 01. 12.

Multimodal Machine Learning Applications인용 수 0

한 줄 요약

논문은 고정된 대형 비전-언어 모델을 사용해 여섯 가지 시각적 의미 단서를 도출하고, 시각적으로 정렬된 오디오 리믹싱에 어떤 단서가 가장 도움이 되는지 체계적으로 평가한다. 카메라 초점과 장면 배경이 지각적 믹스 품질에 가장 유익하며, 경량 모델로도 최첨단 결과를 달성한다.

ABSTRACT

Balancing dialogue, music, and sound effects with accompanying video is crucial for immersive storytelling, yet current audio mixing workflows remain largely manual and labor-intensive. While recent advancements have introduced the visually guided acoustic highlighting task, which implicitly rebalances audio sources using multimodal guidance, it remains unclear which visual aspects are most effective as conditioning signals.We address this gap through a systematic study of whether deep video understanding improves audio remixing. Using textual descriptions as a proxy for visual analysis, we prompt large vision-language models to extract six types of visual-semantic aspects, including object and character appearance, emotion, camera focus, tone, scene background, and inferred sound-related cues. Through extensive experiments, camera focus, tone, and scene background consistently yield the largest improvements in perceptual mix quality over state-of-the-art baselines. Our findings (i) identify which visual-semantic cues most strongly support coherent and visually aligned audio remixing, and (ii) outline a practical path toward automating cinema-grade sound design using lightweight guidance derived from large vision-language models.

연구 동기 및 목표

• 시각-의미 단서가 시각적 가이드 오디오 리믹싱에 가장 큰 영향을 미치는지 식별한다.
• 리믹싱 품질을 결정하기 위해 여섯 가지 LVLM 기반 단서를 체계적으로 소거한다.
• LVLM 기반 단서가 가청 정보만 사용하는 baselines 및 기존 다중 모달 baselines보다 경량 모델로도 더 나은 성능을 낼 수 있음을 증명한다.
• LVLM 기반 신호를 사용해 자동으로 영화급 사운드 디자인을 구현하는 실용적 지침을 제공한다.

제안 방법

• 텍스트 기반 조건 경로를 갖춘 VisAH 스타일의 엔드투엔드 리믹싱 프레임워크를 채택한다.
• 감정, 객체, 장면, 톤, 사운드 소스, 카메라 초점의 여섯 가지 의미 단서를 주입하는 프롬프트 기반 조건화를 사용한다.
• grounding 정합성 및 환각 위험 평가를 위해 집중 프롬프트와 최소 프롬프트 전략을 비교한다.
• MAG, ENV, KLD, ΔIB, W-디스 metric을 사용한 MuddyMix와 유사한 표준 설정으로 평가한다.
• 깊은 자기-주의 필요 여부를 평가하기 위해 트랜스포머 깊이(L=0,3,6)를 체계적으로 변화시킨다.

Fig. 1 : Overview identical to VisAH [ 6 ] except the text feature module (orange) feeding the context encoder.

실험 결과

연구 질문

• RQ1 자동 리믹싱에서 시각적 의미 단서가 지각적 품질과 비디오-오디오 정합성을 얼마나 안정적으로 향상시키는가?
• RQ2 시각 정보를 오디오 리믹싱의 grounding에 있어 집중 프롬프트가 최소 프롬프트보다 우수한가?
• RQ3 LVLM 기반 단서에 조건을 걸 때 리믹싱 성능에 트랜스포머 깊이가 어떤 영향을 미치는가?
• RQ4 LVLM 기반 가이드가 더 적은 파라미터와 얕은 아키텍처로도 최첨단 결과를 달성할 수 있는가?

주요 결과

• 카메라 초점은 VisAH 기준선 대비 MAG, ENV, KLD에서 가장 큰 이득을 제공합니다.
• 장면(설정 및 시간)과 사운드 소스(가시적)가 작지만 일관된 개선을 제공합니다.
• 객체(두드러진)와 톤(색상 및 분위기)은 덜 유익하거나 특정 지표를 해칠 수 있습니다.
• 집중 프롬프트는 일반적으로 최소 프롬프트보다 우수하며, 집중 단서가 grounding을 향상하고 환각을 줄입니다.
• 세 겹 트랜스포머(L=3)와 집중 프롬프트가 강력한 성능을 달성하되, 더 큰 깊이에서 수익 감소가 나타납니다.
• SemMix는 더 얕은 아키텍처를 사용하면서도 이전 SOTA보다 파라미터가 18.94M 더 적은 상태에서 더 나은 결과를 기록합니다.

Fig. 2 : Model performance using focused prompt Camera Focus from layer 0 to layer 6. shaded bands show cross-metric spread (min–max and IQR). The mean curve peaks at $L{=}3$ ; $L{=}5/6$ offer mild W-dis polish.