[논문 리뷰] Plug-and-Steer: Decoupling Separation and Selection in Audio-Visual Target Speaker Extraction

Doyeop Kwak, Suyeon Lee외 1명|arXiv (Cornell University)|2026. 03. 20.

Speech and Audio Processing인용 수 0

한 줄 요약

A 프레임워크가 오디오-전용 음성 분리 백본을 고정하고 Latent Steering Matrix (LSM)와 비주얼 시딩 모듈을 사용하여 AV-TSE에서 대상 선택과 분리를 분리시켜, 고충실도 음향 priors를 보존하는 동시에 잠재 특징을 통해 대상 라우팅을 가능하게 한다.

ABSTRACT

The goal of this paper is to provide a new perspective on audio-visual target speaker extraction (AV-TSE) by decoupling the separation and target selection. Conventional AV-TSE systems typically integrate audio and visual features deeply to re-learn the entire separation process, which can act as a fidelity ceiling due to the noisy nature of in-the-wild audio-visual datasets. To address this, we propose Plug-and-Steer, which assigns high-fidelity separation to a frozen audio-only backbone and limits the role of visual modality strictly to target selection. We introduce the Latent Steering Matrix (LSM), a minimalist linear transformation that re-routes latent features within the backbone to anchor the target speaker to a designated channel. Experiments across four representative architectures show that our method effectively preserves the acoustic priors of diverse backbones, achieving perceptual quality comparable to the original backbones. Audio samples are available at: https://plugandsteer.github.io

연구 동기 및 목표

• AV-TSE에서 분리와 대상 선택의 분리를 촉진하여 소음 다중 모달 감독으로 인한 충실도 한계를 피한다.
• 고정된 오디오-전용 백본이 고품질 분리를 제공하고 시각 정보는 solely as a target selector 역할만 한다는 것을 입증한다.
• Latent Steering Matrix (LSM)를 지연된 잠재 특징의 최소 선형 재라우팅으로서 대상이 지정된 채널에 고정되도록 한다.
• 가벼운 시각 시딩 모듈을 개발하여 게이트를 학습하고 LSM를 제어하며 안정적인 대상 선택을 달성한다.
• 제안된 접근이 다양한 백본에서 음향 priors를 보존하고 더 강한 AO 엔진과 함께 확장 가능하다는 것을 보여준다.

제안 방법

• Latent Steering Matrix (LSM) 소개: 중간 특징에 적용되어 출력 채널을 순열하기 위한 잔차 선형 변환 f_i'=(I+g·W)f_i를 사용한다.
• 강제 스왑 하에서 고정된 AOSS 모델로 출력 스왑을 수행하고 교환된 채널 간의 음성 품질 지표 SI-SNR을 최소화하여 LSM을 학습한다.
• 프레임별 게이트 g_t를 예측하는 시각 시딩 모듈을 추가하고, 이는 연결된 오디오 특징 및 입술-시각 임베딩을 통해 가벼운 TCN으로 처리되어 LSM를 g_t로 제어한다.
• 게이트를 감독하기 위해 백본 출력의 대상 참조에 매칭되도록 재배치될 때 SI-SNR를 최대화하는 의사 라벨로 BCE 손실과 SI-SNR 손실을 결합하여 엔드투엔드 라우팅을 수행한다.
• 내부 라우팅을 포스트-호크 립-싱크 기반 선택(LSE-C/LSE-D)과 비교하고, 라우팅이 잠재 특징을 재사용하여 계산을 줄이고 안정성을 높임을 보여준다.

실험 결과

연구 질문

• RQ1 고정된 오디오-전용 백본 내의 간단한 선형 잠재 변환이 화자 정체성을 지정된 출력 채널로 재라우팅할 수 있는가?
• RQ2 대상 선택과 분리를 분리하는 것이 노이즈가 많은 오디오-시각 데이터에서의 전통적 미세 조정보다 음향 priors를 더 잘 보존하는가?
• RQ3 가벼운 시각 시딩 모듈이 LSM를 효과적으로 제어하여 다양한 아키텍처에서 대상 화자를 안정적으로 선택할 수 있는가?
• RQ4 강력한 오디오-전용 백본과 도메인 적응 시나리오에서 Plug-and-Steer가 확장될 때 성능은 어떻게 되는가?
• RQ5 내부 라우팅이 AV-TSE에서 포스트-호크 립-싱크 기반 선택보다 더 효율적이고 안정적인가?

주요 결과

• LSM은 작은 선형 변환으로 대상 라우팅을 가능하게 하면서 고충실도 분리를 보존한다.
• 최종 계층의 LSM은 백본 간의 계층별 보존을 가장 크게 달성한다(예: 96.22% Conv-TasNet, 99.67% DPRNN, 99.91% TF-GridNet, 99.43% MossFormer2).
• Plug-and-Steer with LSM은 지각 품질을 유지하면서 LSE 기반 포스트-호크 라우팅에 비해 파라미터 작업 FLOPs를 줄이고 실시간 처리 속도를 향상시키며 대상 선택을 더 잘 가능하게 한다.
• 강력한 AO 백본(MossFormer2, 고충실도 데이터 사전학습)과 LSM을 함께 사용하면 AV-TSE 기준치에 필적하는 SI-SDRi를 얻으면서 지각적 충실도를 유지한다.
• 도메인 적응에서 LSM의 성능은 원래의 AO 결과에 단단히 고정되어 있으며, 분리 품질이 사전 학습된 AO 엔진에 의해 정의됨을 시사한다.