[논문 리뷰] Auxiliary Function-Based Algorithm for Blind Extraction of a Moving Speaker

Jakub Janský, Zbyněk Koldovský외 3명|arXiv (Cornell University)|2020. 02. 28.

Blind Source Separation Techniques인용 수 4

한 줄 요약

이 논문은 반향성 및 소음 환경에서 움직이는 화자 추적을 위한 블록 보조IVE(Blcok AuxIVE)라는 새로운 블라인드 소스 추출 알고리즘을 제안한다. 상수 분리 벡터(CSV) 모델 기반으로 설계되었으며, 보조 함수 최적화 기법을 활용해 온라인 추적 없이도 빠른 수렴과 강인한 추출 성능을 달성하여 실제 환경 및 CHiME-4 벤치마크 조건에서 정적 모델보다 뛰어난 성능을 보였다.

ABSTRACT

Recently, Constant Separating Vector (CSV) mixing model has been proposed for the Blind Source Extraction (BSE) of moving sources. In this paper, we experimentally verify the applicability of CSV in the blind extraction of a moving speaker and propose a new BSE method derived by modifying the auxiliary function-based algorithm for Independent Vector Analysis. Also, a piloted variant is proposed for the method with partially controllable global convergence. The methods are verified under reverberant and noisy conditions using {\color{red} simulated as well as real-world acoustic conditions}. They are also verified within the CHiME-4 speech separation and recognition challenge. The experiments corroborate the applicability of CSV as well as the improved convergence of the proposed algorithms.

연구 동기 및 목표

• 시간이 지남에 따라 소스 위치가 변화하는 다마ic 음향 환경에서 움직이는 화자를 블라인드로 추출하는 문제를 해결한다.
• 짧은 간격 동안 서로 다른 정적 혼합 모델 간 전환으로 인해 발생하는 온라인 BSE의 불연속성 문제를 해결한다.
• 명시적인 소스 추적 없이도 소스 이동 동안 일관된 목표 소스 추출을 유지하는 BSE 방법을 개발한다.
• 특히 과다 결정된 마이크 어레이에서 기울기 기반 BSE 방법에 비해 수렴 속도와 전역 수렴 안정성을 향상시킨다.
• 시뮬레이션 및 실제 데이터를 활용해 반향성과 소음성이 높은 조건에서의 강인성을 검증하며, CHiME-4 챌린지 데이터셋을 포함한다.

제안 방법

• 소스 이동 경로 전반에 걸쳐 단일 시간 불변 분리 필터로 목표 소스를 추출할 수 있는 상수 분리 벡터(CSV) 혼합 모델을 채택한다.
• 보조 함수 최적화 기반의 블록 단위 BSE 알고리즘인 Block AuxIVE를 제안하여 기울기 기반 대비 더 빠른 수렴 속도를 확보한다.
• STFT 도메인을 활용해 복합 혼합 신호를 주파수 별 즉시 혼합으로 모델링하여 주파수 빈도 간의 효율적 통합 처리를 가능하게 한다.
• 보조 함수 방법을 적용해 목적 함수의 단조 수렴을 보장하는 고정점 업데이트 규칙을 유도한다.
• 파ilot 신호(잔여 소음을 포함한 부분적으로 사전 추출된 목표 소스)를 사용한 반감독형 변종을 도입하여 전역 수렴 안정성을 향상시킨다.
• 초기화를 위해 상대 전달 함수(RTF) 추정을 사용하고, 비교 시스템에서는 블라인드 분석 정규화(BAN)를 후처리 필터로 적용한다.

실험 결과

연구 질문

• RQ1 CSV 모델은 명시적인 소스 추적 없이도 움직이는 화자를 효과적으로 추출할 수 있는가? 그리고 동적 환경에서 정적 혼합 모델에 비해 어떻게 비교되는가?
• RQ2 제안된 보조 함수 기반 알고리즘(Block AuxIVE)은 기울기 기반 BSE 방법에 비해 더 빠른 수렴 속도와 향상된 전역 수렴 성능을 달성하는가?
• RQ3 Block AuxIVE 알고리즘은 실제 및 시뮬레이션 음향 조건에서 반향성, 소음성 및 초기화의 불완전성에 대해 얼마나 강인한가?
• RQ4 파ilot 신호에 상당한 잔여 소음과 간섭이 포함되어 있어도, 파ilot 기반 반감독형 변종은 안정적인 전역 수렴을 보장하는가?
• RQ5 CHiME-4 챌린지와 같은 실제 벤치마크에서 Block AuxIVE의 성능은 어떠한가? 특히 움직이는 화자 시나리오에서의 성능은?

주요 결과

• Block AuxIVE는 평균 7회 반복 내에 수렴하여 전체 CHiME-4 데이터셋의 총 처리 시간을 BOGIVE w의 10시간 30분에서 1시간 2분으로 감소시켰다.
• 실제 테스트 세트에서 WER는 6.44%로, OverIVA(10.43% 및 6.82%)와 GEV(8.10% 및 5.99%)에 비해 일부 조건에서 더 우수한 성능을 기록하였다.
• Block AuxIVE는 화자 이동 중에도 음성을 성공적으로 복원하지만, Fig. 5에서 볼 수 있듯이 고정 비음향빔 기반의 OverIVA는 화자 이동 시 음성이 사라지는 실패를 보였다.
• 파ilot 신호를 사용한 반감독형 변종은 파ilot에 상당한 잔여 소음과 간섭이 포함되어 있어도 안정적인 전역 수렴을 달성하였다.
• CSV 기반 접근 방식은 소스 이동 전반에 걸쳐 일관된 추출을 가능하게 하여, 각 프레임에 정적 모델을 적용할 경우 발생하는 불연속성 문제를 피할 수 있었다.
• 제안된 방법은 훈련 데이터가 전혀 필요 없이 학습된 GEV 비음향빔 성능과 유사한 성능을 달성하여, 블라인드 환경에서 뛰어난 일반화 능력을 입증하였다.