[논문 리뷰] Advances in Online Audio-Visual Meeting Transcription

Takuya Yoshioka, Igor Abramovski외 24명|arXiv (Cornell University)|2019. 12. 10.

Speech and Audio Processing참고 문헌 54인용 수 17

한 줄 요약

이 논문은 새로운 연속 음성 분離(CSS) 기법과 '분리, 인식, 다이아라이제이션'(SRD)이라는 오디오-비디오 다이아라이제이션 프레임워크를 사용한 온라인 오디오-비디오 회의 전사 시스템을 제시한다. 실시간으로 겹치는 음성을 분리하고 얼굴 추적, 음원 위치 추정, 발화자 식별을 통합함으로써, 비음향 기반 기법 대비 단어 오류율(WER)을 16.1% 감소시키며, 참가자가 모두 사전에 알려진 경우 발화자 할당 오류율이 근사적으로 1.0%에 불과하여 거의 완벽한 발화자 할당을 달성한다.

ABSTRACT

This paper describes a system that generates speaker-annotated transcripts of meetings by using a microphone array and a 360-degree camera. The hallmark of the system is its ability to handle overlapped speech, which has been an unsolved problem in realistic settings for over a decade. We show that this problem can be addressed by using a continuous speech separation approach. In addition, we describe an online audio-visual speaker diarization method that leverages face tracking and identification, sound source localization, speaker identification, and, if available, prior speaker information for robustness to various real world challenges. All components are integrated in a meeting transcription framework called SRD, which stands for "separate, recognize, and diarize". Experimental results using recordings of natural meetings involving up to 11 attendees are reported. The continuous speech separation improves a word error rate (WER) by 16.1% compared with a highly tuned beamformer. When a complete list of meeting attendees is available, the discrepancy between WER and speaker-attributed WER is only 1.0%, indicating accurate word-to-speaker association. This increases marginally to 1.6% when 50% of the attendees are unknown to the system.

연구 동기 및 목표

• 자연스러운 회의 환경에서 겹치는 음성을 인식하는 데 오랫동안 해결되지 않은 과제를 해결하기 위해, 이전 방법들이 연속적이고 실제 대화 음성에 일반화되지 못하는 데서 기인하는 문제를 해결하고자 한다.
• 얼굴 추적, 음원 위치 추정, 발화자 식별을 통합하여 정확한 발화자 할당을 가능하게 하는 견고하고 실시간 동작하는 오디오-비디오 발화자 다이아라이제이션 시스템을 개발하고자 한다.
• 다양한 사용 사례, 예를 들어 오디오 전용, 오디오-비디오, 또는 참가자가 알려지지 않은 상황을 지원하는 모듈식이고 확장 가능한 프레임워크(SRD)를 설계하고자 한다.
• 연속 음성 분리(CSS)가 종단간 전사 파이프라인에서 특히 겹치는 음성 세그먼트의 인식 정확도 향상에 기여하는 바를 입증하고자 한다.

제안 방법

• 시스템은 다중 채널 오디오에서 최대 예상 동시 발화자 수 N에 해당하는 시간에 동기화된 N개의 출력 신호를 생성하는 연속 음성 분리(CSS) 모듈을 사용하며, 활성화된 발화자가 적을 경우 0을 생성한다.
• SRD 프레임워크는 오디오 및 비디오 입력을 파이프라인 방식으로 처리한다: 먼저 CSS를 통해 겹치는 음성을 분리하고, 그 다음 깊이 신경망 음성 모델과 언어 모델을 사용해 음성 인식을 수행하며, 마지막으로 오디오-비디오 신호를 활용해 발화자 다이아라이제이션을 수행한다.
• 오디오-비디오 다이아라이제이션은 얼굴 추적, 얼굴 식별, 음원 위치 추정(SSL), 및 발화자 식별을 통합하며, CSS에서 생성된 TF 마스크를 활용해 발화자 할당을 정밀화한다.
• 시스템은 실시간 처리를 가능하게 하기 위해 7개 요소로 구성된 원형 마이크 배열과 피시아이 카메라를 사용하여 오디오 및 비디오를 캡처한다. 지연 시간은 몇 초 수준이다.
• 발화자 다이아라이제이션은 음성 인식 이후 수행되며, 참가자에 대한 사전 지식에 따라 다양한 다이아라이제이션 모듈을 탄력적으로 통합할 수 있도록 설계되었다.
• 게스트 발화자에 대해 회의 내 얼굴 캡처 영상을 활용함으로써 얼굴 식별 성능을 향상시켜, 다양한 조건에서 사전 등록된 이미지 대비 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 연속 음성 분리(CSS) 기법이 자연스럽고 겹치는 음성을 다루는 실시간 회의 전사 시스템에서 단어 오류율(WER) 향상에 효과적으로 기여할 수 있는가?
• RQ2 얼굴 추적, 음원 위치 추정, 발화자 식별 등의 오디오-비디오 신호를 통합할 경우, 실제 회의 환경에서 발화자 다이아라이제이션 정확도는 어떻게 향상되는가?
• RQ3 회의 참가자에 대한 사전 지식이 발화자 할당 정확도에 미치는 영향은 무엇이며, 시스템은 알려지지 않은 또는 게스트 발화자를 어떻게 처리하는가?
• RQ4 제안된 SRD 프레임워크는 오디오 전용 및 혼합 신원 설정 등 다양한 구현 환경을 얼마나 잘 지원하는가?

주요 결과

• 연속 음성 분리(CSS) 기법은 매우 정교하게 캘리브레이션된 비음향 기반 기법 대비 단어 오류율(WER)을 상대적으로 16.1% 감소시켜, 겹치는 음성 세그먼트에서의 성능 향상이 뚜렷하게 입증되었다.
• 모든 참가자가 사전에 알려진 경우, WER와 발화자 할당된 WER(SA-WER) 간 격리가 단지 1.0%에 불과하여, 단어와 발화자 간의 정확한 연결이 이루어졌음을 시사한다.
• 참가자의 50%가 알려지지 않은 상태(게스트로 간주)일 경우, SA-WER는 약간 증가하여 1.6%로 상승했지만, 여전히 높은 강건성을 보였다.
• 얼굴 식별과 SSL만을 사용할 경우 참가자의 50%가 알려지지 않은 상황에서 성능이 악화되었는데, 이는 이미지 조건 불일치로 인한 것으로 분석되어, 발화자 식별의 유용성을 입증한다.
• 확장된 테스트 세트에서 비전 처리를 근사적으로 적용한 결과, WER는 일관되게 20.1%를 유지하고 SA-WER는 22.1%를 기록하여 실시간 처리의 강건성과 확장 가능성을 확인했다.
• 제안된 SRD 프레임워크는 CSS, 음성 인식, 다이아라이제이션을 성공적으로 통합하였으며, 전체 회의 전사 파이프라인에서 CSS를 종단간으로 구현한 최초의 사례로 평가된다.