[논문 리뷰] End-to-end Audiovisual Speech Activity Detection with Bimodal Recurrent Neural Models

Fei Tao, Carlos Busso|arXiv (Cornell University)|2018. 09. 12.

Speech and Audio Processing참고 문헌 51인용 수 3

한 줄 요약

이 논문은 원시 데이터에서 직접 음성 및 시각적 특징을 학습하고, LSTMs를 사용하여 다중 모odal 간의 시간 동적 특성을 모델링하는 엔드 투 엔드 이중모달 순환 신경망(BRNN)을 제안한다. 이 프레임워크는 소음 환경에서 휴대용 태블릿 기기에서 92.7%의 F1 스코어를 기록했으며, 이상 조건에서의 성능(94.0% F1 스코어)과 비교해 1.0% 뿐 낮게, 오직 음성 기반 DNN 기반 베이스라인보다 최대 1.2%의 절대 F1 스코어 향상을 달성한다.

ABSTRACT

Speech activity detection (SAD) plays an important role in current speech processing systems, including automatic speech recognition (ASR). SAD is particularly difficult in environments with acoustic noise. A practical solution is to incorporate visual information, increasing the robustness of the SAD approach. An audiovisual system has the advantage of being robust to different speech modes (e.g., whisper speech) or background noise. Recent advances in audiovisual speech processing using deep learning have opened opportunities to capture in a principled way the temporal relationships between acoustic and visual features. This study explores this idea proposing a \emph{bimodal recurrent neural network} (BRNN) framework for SAD. The approach models the temporal dynamic of the sequential audiovisual data, improving the accuracy and robustness of the proposed SAD system. Instead of estimating hand-crafted features, the study investigates an end-to-end training approach, where acoustic and visual features are directly learned from the raw data during training. The experimental evaluation considers a large audiovisual corpus with over 60.8 hours of recordings, collected from 105 speakers. The results demonstrate that the proposed framework leads to absolute improvements up to 1.2% under practical scenarios over a VAD baseline using only audio implemented with deep neural network (DNN). The proposed approach achieves 92.7% F1-score when it is evaluated using the sensors from a portable tablet under noisy acoustic environment, which is only 1.0% lower than the performance obtained under ideal conditions (e.g., clean speech obtained with a high definition camera and a close-talking microphone).

연구 동기 및 목표

• 소음 환경에서의 성능 향상을 위해 음성 및 시각 모달리티를 활용하는 강력한 음성 활성도 검출 시스템을 개발하는 것.
• 다중 모달 SAD에서 수작업으로 만든 특징과 일시적인 융합 기법의 한계를 극복하기 위해, 분류 가능한 표현을 엔드 투 엔드로 학습하는 것.
• 순환 신경망을 사용하여 음성 및 시각 모달리티 내외의 시간적 의존성을 모델링함으로써 검출 정확도를 향상시키는 것.
• 다양한 음향 및 채널 조건, 실제 소음 환경을 포함한 대규모 음성시각 코퍼스에서 제안된 프레임워크를 평가하는 것.

제안 방법

• 프레임워크는 세 개의 서브넷을 활용한다: 두 개의 단방향 LSTMs는 각각 음성 및 시각 모달리티 표현을 별도로 처리하여 내부 모달 간 시간 동적 특성을 캡처한다.
• 음성 특징은 멜 필터뱅크 특징에서 직접 추출되며, 시각 특징은 컨볼루션 레이어를 사용해 원시 오로페이셜 이미지에서 엔드 투 엔드로 학습된다.
• 양 모달리티의 고수준 표현은 연결되어 세 번째 LSTM 서브넷에 입력되며, 이는 프레임 단위의 음성 활성도 예측을 위해 다중 모달 간 시간 동적 특성을 모델링한다.
• 전체 시스템은 역전파를 사용해 엔드 투 엔드로 훈련되며, 수작업으로 만든 특징이 필요 없고, 특징 학습과 분류의 공동 최적화가 가능해진다.
• 단방향 LSTMs의 사용은 이중 방향 대비 지연을 감소시켜 실시간 적용 가능성을 높인다.
• 모델은 105명의 참가자로부터 60.8시간 이상의 녹음 자료를 포함한 CRSS-4English-14 코퍼스에서 평가되었다.

실험 결과

연구 질문

• RQ1 원시 데이터에서 직접 음성시각적 특징을 학습하는 엔드 투 엔드 딥 러닝 프레임워크가 수작업으로 만든 특징에 의존하는 전통적 시스템보다 음성 활성도 검출에서 우수한 성능을 내는가?
• RQ2 음성 중심 접근 대비 음성시각 융합 기반 SAD 시스템에서 시각 정보의 통합이 음향 소음에 대한 강건성을 어떻게 향상시키는가?
• RQ3 음성 및 시각 모달리티 간의 시간 동적 특성을 포괄하는 이중모달 순환 모델이 실제 소음 환경에서 검출 정확도를 얼마나 향상시키는가?
• RQ4 제안된 BRNN 프레임워크는 음향 조건이 열악한 실생활 기기(예: 휴대용 태블릿)에서 테스트되었을 때도 높은 성능을 유지하는가?

주요 결과

• 제안된 BRNN 프레임워크는 소음 환경에서 휴대용 태블릿 기기에서 92.7%의 F1 스코어를 기록했으며, 이상 조건에서의 성능(94.0% F1 스코어)과 비교해 1.0% 뿐 낮게, 실용적 상황에서 우수한 성능을 보였다.
• 실제 상황에서 최신 오직 음성 기반 DNN 기반 SAD 베이스라인보다 최대 1.2%의 절대 F1 스코어 향상을 달성했다.
• 청정 조건에서는 이중모달 시스템이 94.0%의 F1 스코어를 기록했으며, 이는 오직 음성 기반 시스템(92.8%)과 오직 시각 기반 시스템(57.2%)을 크게 앞서는 성능이었다.
• 소음 환경에서도 이중모달 시스템은 92.7%의 F1 스코어를 유지했으며, 오직 음성 기반 시스템(91.5%)과 오직 시각 기반 시스템(68.9%)을 통계적으로 유의미한 성능 향상으로 앞섰다.
• 오직 시각 기반 시스템은 같은 데이터로 훈련되었을 때, 청정 조건보다 소음 환경에서 더 높은 성능을 보였는데, 이는 음향 열악함 상황에서도 시각 특징이 상대적으로 안정적이기 때문이다.
• 원시 데이터에서 특징을 엔드 투 엔드로 학습한 결과는 수작업으로 만든 음성시각적 특징을 사용하는 BRNN 변종보다 뛰어난 성능을 보였으며, 이는 공동 표현 학습의 이점을 입증한다.