[논문 리뷰] Multi-modality Associative Bridging through Memory: Speech Sound Recollected from Face Video

Minsu Kim, Joanna Hong외 2명|arXiv (Cornell University)|2022. 04. 04.

Speech and Audio Processing인용 수 8

한 줄 요약

이 논문은 공통 잠재 공간을 필요로 하지 않고, 모달리티별 표현을 소스-키 메모리와 타겟-값 메모리에 저장한 후 연관 브리지 기반으로 시각 입력만으로도 청각 정보를 복원함으로써 청각-시각 연관 브리징을 가능하게 하는 메모리 증강 다중모달 프레임워크를 제안한다. 이 방법은 공통 잠재 공간을 요구하지 않으면서도, 복원된 청각 맥락을 활용하여 입술 읽기 및 침묵 영상의 음성 복원에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

In this paper, we introduce a novel audio-visual multi-modal bridging framework that can utilize both audio and visual information, even with uni-modal inputs. We exploit a memory network that stores source (i.e., visual) and target (i.e., audio) modal representations, where source modal representation is what we are given, and target modal representations are what we want to obtain from the memory network. We then construct an associative bridge between source and target memories that considers the interrelationship between the two memories. By learning the interrelationship through the associative bridge, the proposed bridging framework is able to obtain the target modal representations inside the memory network, even with the source modal input only, and it provides rich information for its downstream tasks. We apply the proposed framework to two tasks: lip reading and speech reconstruction from silent video. Through the proposed associative bridge and modality-specific memories, each task knowledge is enriched with the recalled audio context, achieving state-of-the-art performance. We also verify that the associative bridge properly relates the source and target memories.

연구 동기 및 목표

• 단일 모달 작업에서의 정보 부족 문제를 해결하기 위해, 시각 입력만으로도 다중모달 지식 강화를 가능하게 하는 것.
• 기존 융합 및 공통 표현 방법의 한계, 특히 이질적인 모달 간의 정렬 어려움을 극복하는 것.
• 교차 모달 검색을 가능하게 하면서도 모달리티별 표현을 유지하는 프레임워크를 설계하는 것.
• 실제 응용 분야인 입술 읽기 및 침묵 영상에서의 음성 복원과 같은 작업에서의 효과성을 입증하는 것.

제안 방법

• 이 프레임워크는 이중 메모리 아키텍처를 사용한다: 소스-키 메모리는 시각 특징을 저장하고, 타겟-값 메모리는 청각 특징을 저장하며, 이는 쌍으로 구성된다.
• 소스-키 메모리와 타겟-값 메모리 간에 연관 브리지가 학습되어, 시각 표현을 키로 사용해 타겟 메모리에 쿼리할 수 있도록 한다.
• 메모리 네트워크를 통해 추론 시에만 시각 입력으로부터 청각을 복원할 수 있으며, 이로써 시각 입력이 맥락적 청각 정보로 풍부해진다.
• 모달리티별 임bedding 모듈을 사용해 시각 및 청각 특징을 독립적으로 인코딩함으로써 그들 고유의 표현을 유지한다.
• 직접적인 어텐션 기반 주소 지정을 통해 소스 및 타겟 메모리 간에 연결함으로써 공통 잠재 공간 학습을 피한다.
• 시스템은 쌍화된 청각-시각 데이터로 엔드 투 엔드로 훈련되며, 연관 브리지가 시각 쿼리와 관련된 청각 메모리 슬롯을 정렬하도록 최적화된다.

실험 결과

연구 질문

• RQ1 공통 잠재 공간이 필요 없이도 메모리 기반 프레임워크가 청각과 시각 모달 간에 효과적으로 브리징할 수 있는가?
• RQ2 입력이 시각적 요소만으로 구성된 경우, 복원된 청각 맥락을 통해 입술 읽기 및 음성 복원과 같은 후행 작업에서 얼마나 잘 향상될 수 있는가?
• RQ3 소스와 타겟 메모리 간의 연관 브리지가 다양한 화자와 발음 방식 간의 의미 있는 교차 모달 정렬을 가능하게 하는가?
• RQ4 기존의 공통 표현 학습이나 조기/후기 융합에 의존하는 방법에 비해, 제안된 방법이 얼마나 뛰어나게 성능을 냈는가?
• RQ5 어 attention 주소 지정 벡터가 유사한 유사 발음 대비 다른 발음에 대해 시각에서 청각으로의 복원에서 의미적 일致성을 어떻게 반영하는가?

주요 결과

• 제안된 프레임워크는 LRW 데이터셋에서 단어 수준의 입술 읽기 정확도 85.41%를 달성하여 기준 모델 및 공통 표현 기반 방법을 초월하는 최신 기술 수준 성능을 보였다.
• 침묵 영상에서의 음성 복원 작업에서는, 시각적 단서와 메모리 기반 청각 복원을 활용해 철저하게 발음 정확도가 높은 음성을 효과적으로 복원하였다.
• t-SNE 시각화 결과, 시각 입력으로부터 복원된 청각 표현이 실제 청각 표현과 매우 유사하게 정렬되어 있음을 확인하여 효과적인 교차 모달 전이가 이루어졌음을 입증하였다.
• 다른 화자 간에 유사한 발음에 대해 어텐션 주소 지정 벡터가 높은 유사도를 보이며, 강력하고 일관된 연관 브리징이 이루어졌음을 나타내었다.
• 공통 잠재 공간에 의존하는 교차 모달 적응 및 지식 정복 방법보다 프레임워크가 뛰어난 성능을 보였으며, 연관 브리징이 있는 모달리티별 메모리의 장점을 입증하였다.
• 시각화 결과, 화자 변동 조건에서도 시각 입력이 의미적으로 관련된 청각 메모리 슬롯으로 매핑되는 것을 확인하여, 연관 브리지가 효과적으로 학습되었음을 확인하였다.