[논문 리뷰] Speaker Diarization as a Fully Online Learning Problem in MiniVox

Baihan Lin, Xinxin Zhang|arXiv (Cornell University)|2020. 06. 08.

Advanced Bandit Algorithms Research참고 문헌 29인용 수 11

한 줄 요약

이 논문은 사전 훈련이나 사용자 등록 없이 실시간으로 학습하는 완전한 온라인 화자 다이어라이제이션 프레임워크를 제안한다. 희박하고 에피소드형 피드백을 다루기 위해 연속적 밴드잇( contextual bandits )과 준지도 및 자기지도 학습을 사용한다. 무한한 온라인 다화자 스트림을 위한 벤치마크인 MiniVox를 도입하고, 특히 낮은 피드백 빈도 환경에서 뛰어난 성능을 보이며, 피드백 확률 p=0.01인 MFCC 기반 학습 환경에서도 베이스라인을 능가한다.

ABSTRACT

We proposed a novel machine learning framework to conduct real-time multi-speaker diarization and recognition without prior registration and pretraining in a fully online learning setting. Our contributions are two-fold. First, we proposed a new benchmark to evaluate the rarely studied fully online speaker diarization problem. We built upon existing datasets of real world utterances to automatically curate MiniVox, an experimental environment which generates infinite configurations of continuous multi-speaker speech stream. Second, we considered the practical problem of online learning with episodically revealed rewards and introduced a solution based on semi-supervised and self-supervised learning methods. Additionally, we provided a workable web-based recognition system which interactively handles the cold start problem of new user's addition by transferring representations of old arms to new ones with an extendable contextual bandit. We demonstrated that our proposed method obtained robust performance in the online MiniVox framework.

연구 동기 및 목표

• 사전 훈련이나 사용자 등록이 불가능한 실세계 환경에서 화자 다이어라이제이션 시스템을 구현하는 데 실질적인 도전 과제를 해결하기 위해.
• 화자 다이어라이제이션을 에피소드적으로 공개되는 보상 신호가 있는 완전한 온라인 학습 문제로 재정의하여, 새로운 화자에 대한 지속적인 적응을 가능하게 하기 위해.
• 냉각기 동안 기존 사용자로부터의 지식을 신규 사용자에게 전이하여 데이터 요구량을 최소화하는 시스템을 개발하기 위해.
• 다양한 연속적인 다화자 스트리밍 조건에서 온라인 다이어라이제이션을 평가할 수 있는 확장 가능한 벤치마크인 MiniVox를 구축하기 위해.
• 화자 다이어라이제이션의 온라인 학습 환경에서 자기지도 학습과 준지도 학습의 효과성을 조사하기 위해.

제안 방법

• 화자 할당이 행동으로 대응하는 온라인 의사결정을 모델링하기 위해 연속적 밴드잇 프레임워크( LinUCB 및 BerlinUCB 기반 )를 제안한다.
• 피드백을 제공하지 않는 비라벨링 에피소드에 대해 의사행동을 할당하는 준지도 학습 구성요소를 도입하여, 사용자가 피드백을 제공하지 않더라도 보상 신호 전파가 가능하도록 한다.
• 비라벨링 데이터에 대해 자기지도 클러스터링(예: K-means, GMM, KNN)을 사용하여 의사보상( pseudo-rewards )을 생성함으로써, 희박한 피드백 환경에서 모델 업데이트 효율성을 향상시킨다.
• 기존 '암'(speaker profiles)의 표현 전이를 통해 온라인 확장 기반의 연속적 밴드잇을 활용하여 냉각기 처리를 가능하게 한다.
• 실세계 데이터셋을 기반으로 하여 다양한 화자 수와 피드백 확률을 가진 무한히 긴 구성 가능한 온라인 오디오 스트림으로 변환하는 합성 벤치마크인 MiniVox를 구축한다.
• 대비 손실 기반 임베딩(MFCC, CNN)을 적용하고, 오라클 피드백 조건과 비오라클 피드백 조건 모두에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 사전 훈련이나 사용자 등록 없이도 화자 다이어라이제이션을 완전한 온라인 학습 문제로 효과적으로 해결할 수 있는가?
• RQ2 준지도 및 자기지도 학습 방법은 온라인 다이어라이제이션에서 희박하고 에피소드형 피드백을 다룰 때 얼마나 효과적인가?
• RQ3 온라인 환경에서 기존 화자 프로필의 지식을 냉각기 동안 신규 사용자에게 얼마나 효과적으로 전이할 수 있는가?
• RQ4 낮은 피드백 확률(예: p=0.01) 조건에서 온라인 밴드잇 기반 다이어라이제이션의 성능은 지도 학습 기반 베이스라인과 어떻게 비교되는가?
• RQ5 자기지도 학습은 낮은 피드백 또는 분포 외 환경에서 성능 향상에 기여하는가, 그리고 어떤 조건에서 가장 유익한가?

주요 결과

• 피드백 확률 p=0.01인 MFCC 기반 MiniVox 벤치마크에서, 제안된 자기지도 연속적 밴드잇은 표준 BerlinUCB 및 기준 모델보다 뛰어난 성능을 보였으며, MiniVox C20-MFCC-60k에서 92.31%의 정확도를 달성했다.
• BerlinUCB 기반의 B-KNN 및 B-GMM 변형은 특히 고난이도 설정에서 뛰어난 성능을 보였으며, 오라클 피드백 조건에서 MiniVox C20-MFCC-60k에서 B-GMM이 95.19%의 정확도를 기록했다.
• 낮은 피드백 빈도 환경(p=0.1 또는 p=0.01)에서 자기지도 변형은 표준 BerlinUCB보다 성능 향상을 보였으며, 이는 희박한 피드백 상황에서의 가치를 입증한다.
• 벤치마크인 MiniVox는 다양한 구성(다양한 화자 수와 피드백 확률 포함)에서 온라인 다이어라이제이션의 안정적인 평가를 가능하게 하여 확장성을 입증했다.
• 밴드잇 피드백 설정의 본질적인 곤란함에도 불구하고, 제안된 방법은 예상보다 훨씬 낮은 오류율을 기록하며 뛰어난 성능을 보였다.
• 결과는 자기지도 학습이 특히 낮은 피드백 환경에서 가장 유익하며, 밴드잇 백본에서 효과적인 보상 매핑과 조합될 경우 성능 향상에 가장 크게 기여한다는 것을 보여준다.