[논문 리뷰] Voice-Face Cross-modal Matching and Retrieval: A Benchmark

Chuyuan Xiong, Deyuan Zhang외 2명|arXiv (Cornell University)|2019. 11. 21.

Face recognition and analysis참고 문헌 30인용 수 10

한 줄 요약

이 논문은 중국어 화자로부터 115만 장의 얼굴과 29만 개의 오디오 클립을 포함하는 대규모 데이터셋에서 음성-얼굴 교차모달 매칭 및 검색을 위한 새로운 벤치마크를 소개한다. CNN 기반 네트워크와 트리플릿 손실을 사용하는 음성 기반, L2 정규화된 거리학습 프레임워크를 제안하며, 1:2 매칭에서 84.48%의 정확도로 최신 기술을 초월하여 정확도와 일반화 신뢰도 측면에서 크게 향상되었다.

ABSTRACT

Cross-modal associations between voice and face from a person can be learnt algorithmically, which can benefit a lot of applications. The problem can be defined as voice-face matching and retrieval tasks. Much research attention has been paid on these tasks recently. However, this research is still in the early stage. Test schemes based on random tuple mining tend to have low test confidence. Generalization ability of models can not be evaluated by small scale datasets. Performance metrics on various tasks are scarce. A benchmark for this problem needs to be established. In this paper, first, a framework based on comprehensive studies is proposed for voice-face matching and retrieval. It achieves state-of-the-art performance with various performance metrics on different tasks and with high test confidence on large scale datasets, which can be taken as a baseline for the follow-up research. In this framework, a voice anchored L2-Norm constrained metric space is proposed, and cross-modal embeddings are learned with CNN-based networks and triplet loss in the metric space. The embedding learning process can be more effective and efficient with this strategy. Different network structures of the framework and the cross language transfer abilities of the model are also analyzed. Second, a voice-face dataset (with 1.15M face data and 0.29M audio data) from Chinese speakers is constructed, and a convenient and quality controllable dataset collection tool is developed. The dataset and source code of the paper will be published together with this paper.

연구 동기 및 목표

• 기존 연구의 한계인 작은 데이터셋과 낮은 테스트 신뢰도 문제를 해결하기 위해 음성-얼굴 교차모달 매칭 및 검색을 위한 종합적인 벤치마크를 구축하는 것.
• 유형별 비디오에 특화된 고품질 데이터셋 수집 도구를 개발하여, 최소한의 레이블링 노력으로도 효율적인 대규모 데이터 정제를 가능하게 하는 것.
• L2 정규화 제약과 트리플릿 손실을 통해 임베딩 효율성과 모델 성능을 향상시키는 새로운 음성 기반 거리학습 프레임워크를 제안하는 것.
• 대규모 데이터에서 모델의 일반화 능력을 평가하고, 네트워크 아키텍처, 사전 훈련, 거리공간 설계의 영향을 분석하는 것.
• 다양한 작업에서 다중 성능 지표를 사용한 표준화된 평가 프로토콜을 제공하며, 언어 간 전이 능력을 탐구하는 것.

제안 방법

• 음성-기반 L2 정규화된 거리공간을 구축하여 교차모달 매칭에서 임베딩 학습 효율성과 모델 수렴성을 향상시키는 것.
• CNN 기반 네트워크를 사용해 음성 및 얼굴 특징를 추출하고, 거리공간 내에서 트리플릿 손실을 적용하여 분류 가능한 교차모달 임베딩을 학습하는 것.
• 어려운 음성 부정 샘플에 집중하기 위해 신원 기반 샘플링 전략을 채택하여 훈련 효율성을 향상시키는 것.
• SE-ResNet50 및 기타 깊은 CNN 아키텍처를 사용하며, MS1M 및 VOX2 데이터셋에서 사전 훈련하여 특징 표현을 향상시키는 것.
• MOOC 영상에서 고품질 음성 및 얼굴 샘플을 추출할 수 있는 데이터 수집 도구를 개발하여 제어된 품질로 대규모 데이터셋을 구축하는 것.
• 모델 일반화를 평가하기 위해 1:2, 1:3, 1:4 매칭 정확도, mAP, 성별별 성능 등 다양한 평가 지표를 사용하는 것.

실험 결과

연구 질문

• RQ1 L2 정규화를 적용한 음성 기반 거리학습이 음성-얼굴 교차모달 매칭에서 성능과 훈련 효율성에 어떤 영향을 미치는가?
• RQ2 SE-ResNet50 및 VGG-M와 같은 다양한 CNN 아키텍처가 교차모달 모델의 일반화 능력과 정확도에 미치는 영향은 무엇인가?
• RQ3 대규모 데이터셋에서의 사전 훈련이 자원이 제한된 또는 제로샷 언어 간 전이 설정에서 모델 성능에 어떤 영향을 미치는가?
• RQ4 모델이 언어 간으로 얼마나 잘 일반화되는가? 특히 중국어 화자 데이터로 미세조정했을 때의 성능은 어떠한가?
• RQ5 다양한 데이터 샘플링 전략과 거리공간 스케일이 모델 수렴성과 검색 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 VFMR1 프레임워크는 1000만 개의 트리플릿을 사용해 1:2 매칭 작업에서 84.48%의 정확도를 달성하며, 이는 이전 최신 기술을 초월한다.
• 1:2 검색 작업에서 평균 평균 정밀도(mAP)가 11%에 도달하여 이전 최고 성능 대비 7%포인트 향상되었다.
• 훈련 중 음성 임베딩 네트워크를 동결하면 훈련 효율성이 향상되고 성능이 약간 향상되며, 이는 음성 기반 학습의 중요성을 시사한다.
• 압축 및 자극 기반 모듈이 포함된 SE-ResNet50는 표준 ResNet50 및 VGG-M보다 뛰어난 성능을 보이며, 주의 메커니즘을 갖춘 더 깊은 아키텍처가 더 나은 교차모달 임베딩을 생성함을 보여준다.
• MS1M 및 VOX2와 같은 대규모 데이터셋에서의 사전 훈련은 성능 향상에 크게 기여하며, 사전 훈련 없이 훈련할 경우 정확도가 크게 떨어진다.
• 모델은 새로운 화자에게도 잘 일반화되어 소규모의 본적-청취 테스트 세트에서 95%의 정확도와 38%의 mAP를 기록하며 실용적 적용 가능성을 입증했다.