[논문 리뷰] On Learning Associations of Faces and Voices

Chang-Il Kim, Hijung Valentina Shin외 4명|arXiv (Cornell University)|2018. 05. 15.

Speech and Audio Processing참고 문헌 30인용 수 21

한 줄 요약

이 논문은 삼중손실 기반 공통 임bedding 모델을 사용하여 얼굴 및 음성 특징을 정렬하는 교차 모odal 표현 학습 프레임워크를 제안하며, 새로운 얼굴과 해당 음성을 매칭하는 데 인간 수준의 성능을 달성한다. 이 방법은 성별, 연령, 음성 톤과 같은 민족적 특성과 관련된 공통된 의미 공간 표현을 학습하며, 새로운 다양한 청각-시각 데이터셋에서 광범위한 인간 연구와 계산적 평가를 통해 검증된다.

ABSTRACT

In this paper, we study the associations between human faces and voices. Audiovisual integration, specifically the integration of facial and vocal information is a well-researched area in neuroscience. It is shown that the overlapping information between the two modalities plays a significant role in perceptual tasks such as speaker identification. Through an online study on a new dataset we created, we confirm previous findings that people can associate unseen faces with corresponding voices and vice versa with greater than chance accuracy. We computationally model the overlapping information between faces and voices and show that the learned cross-modal representation contains enough information to identify matching faces and voices with performance similar to that of humans. Our representation exhibits correlations to certain demographic attributes and features obtained from either visual or aural modality alone. We release our dataset of audiovisual recordings and demographic annotations of people reading out short text used in our studies.

연구 동기 및 목표

• 기계가 인간의 지각 능력을 모방하여 새로운 얼굴을 해당 음성과 연관지울 수 있는지 조사하기.
• 비 유명인의 청각-시각 기록으로 구성된 더 크고 다양한 데이터셋을 사용하여 더 정확한 인간 성능 기준선을 수립하기.
• 얼굴과 음성에 대한 공통 임베딩 공간을 학습하여 겹치는 지각적 및 민족적 정보를 포착하기.
• 모델의 얼굴-음성 매칭 성능을 평가하고, 민족적 및 음성 특성과의 상관관계를 분석하기.
• 향후 연구를 위해 민족적 주석이 추가된 새로운 다양성 있는 청각-시각 기록 데이터셋을 공개하기.

제안 방법

• 삼중손실 기반 딥러닝 프레임워크를 사용하여 얼굴 및 음성 표현을 위한 공통 임베딩 공간을 학습하며, 코사인 거리 기반으로 직접 비교가 가능하도록 한다.
• 얼굴 특징는 미세조정된 VGG16 네트워크를, 음성 특징는 사전 훈련된 SoundNet 모델을 사용하여 추출한다.
• 모델은 규모가 큰 VoxCeleb 데이터셋을 기반으로 훈련되며, 인간 연구는 181명의 비 유명인으로부터 신규로 수집한 데이터셋에서 수행된다.
• 학습된 표현은 제로샷 얼굴-음성 매칭 작업을 통해 평가되며, 주어진 음성에 대해 후보자 중 가장 타당한 얼굴을 선택한다.
• 모든 모odal에 대해 데이터 증강 기법이 적용되며, 랜덤 크롭, 회전, 반전, 밝기/대비 조절 및 음성 볼륨의 변동이 포함된다.
• t-SNE 시각화와 지도 학습 분류를 사용하여 학습된 표현의 구조와 정보 내용을 분석한다.

실험 결과

연구 질문

• RQ1 기계는 새로운 얼굴을 해당 음성과 연관지키는 데 인간 수준의 성능을 달성할 수 있는가?
• RQ2 학습된 교차 모달 표현은 성별, 연령, 민족과 같은 민족적 특성과 얼마나 상관이 있는가?
• RQ3 표현은 음성 톤과 음성 특성과 같은 음성적 특성 정도까지 얼마나 잘 포착하는가?
• RQ4 다양하고 비 유명인 기반의 데이터셋에서 모델의 성능은 인간 기준선과 비교해 어떻게 되는가?
• RQ5 아키텍처 선택과 표현 차원 수준이 매칭 정확도에 어떤 영향을 미치는가?

주요 결과

• 모델은 인간 참가자와 동등한 얼굴-음성 매칭 성능를 달성하여, 기계가 인간 수준의 정확도로 얼굴과 음성을 연관지울 수 있음을 입증한다.
• 학습된 표현은 성별과 강한 상관관계를 보이며, 이는 지도 학습 실험에서 높은 분류 정밀도로 확인된다.
• 연령과 음성 톤은 중간 정도의 상관관계를 보이지만, 임베딩 공간에서 연령의 전이가 부드럽기 때문에 연령 분류가 덜 정확하다.
• 완전히 연결된 신경망의 각 층 차원 수에 따라 모델의 성능가 안정적이며, 512차원 표현 이상에서는 추가적인 향상이 없음을 확인한다.
• t-SNE 시각화 결과 표현 공간은 성별과 민족에 따라 샘플이 정렬되어 있으며, 연령은 연속적인 추세를 보여 의미 있는 의미 클러스터링을 나타낸다.
• VoxCeleb에서 훈련을 하였음에도 불구하고, 모델은 새로운 비 유명인 데이터셋으로 잘 일반화되며, 학습된 표현의 이식성과 강건성을 확인한다.