[논문 리뷰] HRTF-guided Binaural Target Speaker Extraction with Real-World Validation

Yoav Ellinson, Sharon Gannot|arXiv (Cornell University)|2026. 03. 17.

Speech and Audio Processing인용 수 0

한 줄 요약

이 논문은 측정된 HRTF를 공간 단서로 사용하여 대상 화자를 추출하면서 이중 귀 단서(바이노럴 큐)를 보존하는 HRTF-조건부 바이노럴 대상 음성 추출 프레임워크를 소개하고, 시뮬레이션 및 실제 룸 녹음에서 검증되었습니다.

ABSTRACT

This paper presents a Head-Related Transfer Function (HRTF)-guided framework for binaural Target Speaker Extraction (TSE) from mixtures of concurrent sources. Unlike conventional TSE methods based on Direction of Arrival (DOA) estimation or enrollment signals, which often distort perceived spatial location, the proposed approach leverages the listener's HRTF as an explicit spatial prior. The proposed framework is built upon a multi-channel deep blind source separation backbone, adapted to the binaural TSE setting. It is trained on measured HRTFs from a diverse population, enabling cross-listener generalization rather than subject-specific tuning. By conditioning the extraction on HRTF-derived spatial information, the method preserves binaural cues while enhancing speech quality and intelligibility. The performance of the proposed framework is validated through simulations and real recordings obtained from a head and torso simulator (HATS).

연구 동기 및 목표

• 청취자 특정 HRTF를 명시적 공간 사전으로 활용하여 바이노럴 대상 화자 추출을 안내한다.
• 주관자별 튜닝이 아니라 다양한 측정 HRTF로 학습된 청취자 일반화 모델을 개발한다.
• 대상음을 강화하면서도 이중 귀 큐(ILD/ITD)를 보존한다.
• 시뮬레이션된 잔향 혼합 및 실제 HATS 녹음에서 성능을 검증한다.
• HRTF 데이터베이스의 이산화로 인한 각도 불일치에 대한 강건성을 평가한다.

제안 방법

• HRTF에서 파생된 대상 공간 큐를 사용하여 STFT 도메인에서 2채널 바이노럴 혼합물을 처리한다.
• 혼합물과 HRTF 큐를 공유 잠재 공간에 인코딩하고 HRTF 조건부로 잠재 공간 모듈레이션을 적용한다.
• NBC2 자기주목 블록을 사용하여 대상의 스펙트럴 성분을 추출하고 공간 큐를 보존한다.
• 복소수 STFT 추정으로 디코딩하고 바이노럴 시간 영역 신호를 재구성한다.
• SI-SDR 및 MAE 손실로 학습하되 SI-SDR을 미세 조정 우선으로 사용한다.

실험 결과

연구 질문

• RQ1 HRTF 기반 조건화가 바이노럴 청취 시나리오에서 강건하고 공간적으로 일관된 대상 화자 추출을 제공할 수 있는가?
• RQ2 다양한 측정 HRTF 세트로 학습하는 것이 주관자별 튜닝에 비해 청취자 일반화에 도움이 되는가?
• RQ3 HRTF-조건부 TSE가 DOA 기반 방법과 비교해 이중 귀 큐 및 지각 품질을 보존하는 측면에서 어떤 차이를 보이는가?
• RQ4 실세계 설정에서 HRTF 데이터베이스 이산화로 인한 각도 불일치에 대해 접근 방법이 강건한가?
• RQ5 HATS로부터의 실제 녹음에서 이 방법의 성능은 잔향 환경에서 어떻게 나타나는가?

주요 결과

방법	SI-SDR i (dB)	PESQ	ΔITD (ms)	ΔILD (dB)
혼합물	–	1.18	1.464	0.417
DOA-BDE [ 11 ]	13.881	2.74	0.982	0.479
제안된	15.770	3.03	0.044	0.349

• 제안된 방법은 경쟁 DOA 기반 접근 방식보다 더 높은 SI-SDR 개선( SI-SDRi )을 달성한다(15.770 dB 대 13.881 dB).
• 제안된 방법이 경쟁 방법보다 더 높은 PESQ 점수를 얻는다(3.03 대 2.74).
• 공간 큐 보존은 제안된 방법에서 우수하며, ΔITD가 0.044 ms 대 DOA-BDE의 0.982 ms, ΔILD가 0.349 dB 대 DOA-BDE의 0.479 dB로 나타난다.
• 시뮬레이션 혼합에서 방법은 지각적 및 공간 일관성 지표에서 우수하다.
• 실세계 녹음은 각도 불일치에서도 방법이 견고하고 baseline보다 지각 품질이 더 좋음을 보여준다.
• 이 접근은 직접 경로 HRTF에 조건화를 적용하여 공간적으로 일치하는 학습된 필터 역할을 하는 방식으로 공간적 일관된 추출을 보임을 시연한다.