[논문 리뷰] Look, Listen and Learn - A Multimodal LSTM for Speaker Identification

Jimmy Ren, Yongtao Hu외 5명|arXiv (Cornell University)|2016. 02. 13.

Speech and Audio Processing참고 문헌 34인용 수 53

한 줄 요약

이 논문은 시간 단계와 모odal 간에 가중치를 공유함으로써 시퀀스 처리의 초반 단계에서 시각적 및 听覚적 모odal 표현을 통합하는 다중모달 Long Short-Term Memory (LSTM) 네트워크를 제안한다. 이 모델은 이미지 열화 및 간섭자에 대해 뛰어난 내성성을 보이며, 3.0초의 투표 창을 사용하여 The Big Bang Theory 데이터셋에서 91.38%의 정확도를 달성하여 최신 기술 수준을 초월한다.

ABSTRACT

Speaker identification refers to the task of localizing the face of a person who has the same identity as the ongoing voice in a video. This task not only requires collective perception over both visual and auditory signals, the robustness to handle severe quality degradations and unconstrained content variations are also indispensable. In this paper, we describe a novel multimodal Long Short-Term Memory (LSTM) architecture which seamlessly unifies both visual and auditory modalities from the beginning of each sequence input. The key idea is to extend the conventional LSTM by not only sharing weights across time steps, but also sharing weights across modalities. We show that modeling the temporal dependency across face and voice can significantly improve the robustness to content quality degradations and variations. We also found that our multimodal LSTM is robustness to distractors, namely the non-speaking identities. We applied our multimodal LSTM to The Big Bang Theory dataset and showed that our system outperforms the state-of-the-art systems in speaker identification with lower false alarm rate and higher recognition accuracy.

연구 동기 및 목표

• 심각한 이미지 열화와 간섭자가 존재하는 실세계 영상에서의 화자 식별 문제를 해결하기 위해.
• 공유된 LSTM 아키텍처를 통해 시퀀스 처리의 초반 단계에서 시각적 및 听각적 모달을 통합하기 위해.
• 교차 모달 가중치 공유를 통해 간섭자 및 이미지 품질 변동에 대한 내성성을 향상시키기 위해.
• 통합된 딥 러닝 프레임워크 내에서 다중모달 고수준 특징 간 장기적 시간적 의존성을 모델링하기 위해.
• 기존 최신 기술 수준의 방법들과 비교하여 실세계 영상 데이터에서 뛰어난 성능을 보여주기 위해.

제안 방법

• 시간 단계와 모달 간에 가중치를 공유하는 새로운 다중모달 LSTM을 제안하여, 시간적 의존성과 교차 모달 상관관계를 동시에 학습할 수 있도록 한다.
• 표준 LSTM을 확장하여, 시각적 및 听각적 모달 간에 출력 변환(W_y)에 대한 공유된 가중치 행렬을 도입한다.
• 모든 모달 고유의 특징이 첫 번째 시간 단계부터 동시에 처리되는 통합 아키텍처를 사용하여 별도의 처리 파이프라인을 피한다.
• 실제 영상 시퀀스에서 인식 안정성을 향상시키기 위해 슬라이딩 윈도우(0.5초, 0.25초 스트라이드)를 사용한 시간적 풀링 및 투표 전략을 적용한다.
• 시간적 정렬이 존재할 경우 양 모달 간 일致된 레이블 예측을 장려하는 공동 학습 목표를 사용한다.
• 소프트맥스 출력을 위한 임계값 m를 튜닝하여 ROC 곡선을 생성하고 탐지 성능을 최적화한다.

실험 결과

연구 질문

• RQ1 LSTM 아키텍처에서 교차 모달 가중치 공유가 화자 식별에서 이미지 열화 및 간섭자에 대한 내성성을 향상시키는가?
• RQ2 통합된 다중모달 LSTM을 사용해 시각적 및 听각적 시퀀스 간 시간적 의존성을 모델링할 경우, 별도의 모달 처리보다 성능이 향상되는가?
• RQ3 사전에 모달 간 상관관계를 가정하지 않고도 다중모달 LSTM이 얼굴과 목소리 시퀀스 간 의미 있는 시간적 상관관계를 학습할 수 있는가?
• RQ4 변동하는 간섭자 수와 이미지 품질을 가진 실세계 영상 환경에서 제안된 방법이 최신 기술 수준의 시스템과 비교해 어떻게 성능을 내는가?
• RQ5 완전한 교차 모달 가중치 공유가 부분 공유 또는 공유 없음과 비교해 분류 정확도와 오류 경고 비율에 어떤 영향을 미치는가?

주요 결과

• 제안된 다중모달 LSTM은 3.0초의 투표 창을 사용하여 The Big Bang Theory S01E03에서 91.38%의 화자 이름 정확도를 달성하여 이전 최신 기술 수준의 방법들을 능가했다.
• 완전한 교차 모달 가중치 공유가 없거나 반으로 공유하는 경우보다 잘못된 경고 비율을 크게 감소시키고 정확도를 향상시켰다.
• 흐림과 가림 등의 이미지 열화에 대해 뛰어난 내성성을 보이며, 단일 모달 CNN이 실패한 경우에도 화자를 정확히 식별했다.
• 다수의 간섭자가 존재하는 장면에서도 높은 성능을 유지하여 비화자 신원에 대한 강력한 거부 능력을 보였다.
• 완전한 교차 모달 가중치 공유 전략은 고립된 단일 모달 LSTM 및 부분 공유가 있는 하이브리드 모델보다 모두 우수한 성능을 보였다.
• 이 방법은 통합 프레임워크 내에서 다중모달 고수준 특징에 대한 장기적 의존성을 모델링한 최초의 방법으로, 화자 식별 분야에서 최신 기술 수준의 성과를 달성했다.