[논문 리뷰] Disjoint Mapping Network for Cross-modal Matching of Voices and Faces

Yandong Wen, Mahmoud Al Ismail외 3명|arXiv (Cornell University)|2018. 07. 12.

Face recognition and analysis인용 수 15

한 줄 요약

이 논문은 음성-얼굴 매칭을 위한 새로운 프레임워크인 Disjoint Mapping Network(DIMNet)을 제안한다. DIMNet는 각 모odal을 공통 공변량(예: 신원, 성별, 국적)으로 개별적으로 매핑하여 공유 표현을 학습하는 방식으로, 직접적인 음성-얼굴 관계를 모델링하지는 않는다. DIMNet는 검색 작업에서 최신 기준 성능을 달성하며, 1:N 매칭 작업에서 성별 검색 시 mAP가 98.5%이고 신원 검색 시 4.07%를 기록한다. 이는 공통 공변량을 명시적으로 모델링할 경우 직접적인 모달 쌍화에 의존하는 것보다 매칭 정확도가 향상되고, 데이터 의존도가 감소함을 보여준다.

ABSTRACT

We propose a novel framework, called Disjoint Mapping Network (DIMNet), for cross-modal biometric matching, in particular of voices and faces. Different from the existing methods, DIMNet does not explicitly learn the joint relationship between the modalities. Instead, DIMNet learns a shared representation for different modalities by mapping them individually to their common covariates. These shared representations can then be used to find the correspondences between the modalities. We show empirically that DIMNet is able to achieve better performance than other current methods, with the additional benefits of being conceptually simpler and less data-intensive.

연구 동기 및 목표

• 모달 간 직접적인 감독에 의존하지 않고도 음성과 얼굴 간의 다중모달 매칭 문제를 해결하고자 한다.
• 각 모달이 공통 공변량에 대해 의존하는 방식으로 공유 표현을 더 효과적으로 학습할 수 있는지 조사하고자 한다.
• 학습 중에 직접적인 쌍 생성을 피하여 데이터 의존도를 줄이고 일반화 능력을 향상시키고자 한다.
• 신원, 성별, 국적 등의 공변량이 음성-얼굴 관계에 미치는 영향을 분리하고자 한다.
• 개념적 단순성과 해석 가능성 유지와 함께 음성-얼굴 검색 작업에서 최신 기준 성능을 달성하고자 한다.

제안 방법

• DIMNet는 음성 및 얼굴 데이터에 대해 각각 전용 특징 추출기(모달 특화)를 사용하며, 입력을 공통 임베딩 공간으로 매핑한다.
• 프레임워크는 공통 임베딩에서 공변량(예: 신원, 성별, 국적)을 예측하기 위해 입력 모달에 관계없는 분류기를 사용한다.
• 감독 신호로는 음성 및 얼굴 샘플 각각에 대해 별도로 적용된 공변량 레이블을 사용하며, 음성-얼굴 쌍 데이터는 사용하지 않는다.
• 공통 임베딩에서 공변량 예측 정확도를 극대화하기 위해 다중 작업 분류 방식으로 모델을 훈련한다.
• 최종 임베딩은 코사인 유사도를 통해 교차 모달 검색에 사용되며, 사전에 구성된 쌍이 필요 없이 1:N 매칭을 가능하게 한다.
• 표준 역전파 알고리즘을 사용하여 공변량 예측 헤드의 교차 엔트로피 손실 기반으로 엔드 투 엔드로 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 직접적인 음성-얼굴 상응 관계를 명시적으로 모델링하지 않더라도 음성과 얼굴에 대한 공유 표현을 효과적으로 학습할 수 있는가?
• RQ2 신원, 성별, 국적과 같은 공통 공변량이 기존 음성-얼굴 매칭 방법의 성능를 얼마나 설명하는가?
• RQ3 각 모달을 공변량으로 개별적으로 매핑하는 방식이 직접적인 음성-얼굴 연관성 학습보다 성능이 뛰어나게 되는가?
• RQ4 다양한 공변량 조합(예: 신원만, 성별만, 또는 복수 조합)으로 훈련했을 때 모델 성능가 어떻게 변화하는가?
• RQ5 기존 방법보다 데이터 소비가 적고 더 해석 가능하면서도 최신 기준 성능을 달성할 수 있는가?

주요 결과

• 성별을 공변량으로 사용해 훈련한 경우 DIMNet는 성별 검색에서 mAP 98.5%를 기록하여 이 공변량에 대해 뛰어난 성능을 보였다.
• 가장 우수한 종합 검색 성능는 DIMNet-IG(신원 및 성별)에서 기록되었으며, 1:N 매칭 작업에서 신원 검색 시 mAP 4.07%를 달성했다.
• 1:N 매칭에서 N이 증가할수록 성능가 뚜렷하게 저하됨을 확인하여, 현재의 임베딩 공간이 정밀한 매칭을 완전히 지원하지는 못하는 것으로 나타났다.
• MDS를 사용한 시각화 결과, 동일한 화자에 대한 음성 및 얼굴 임베딩은 약한 근접성을 보이며, 다른 화자들의 임베딩과 상당한 겹침을 보였다.
• 성별이 훈련 공변량으로 사용되지 않은 경우에도, 모델은 성별 분리와 같은 의미 있는 전반적 구조를 학습하고 있어, 데이터의 기저 구조를 암묵적으로 포착하고 있음을 시사한다.
• 모든 설정에서 국적은 낮은 예측 성능(50% 미만의 mAP)을 보이며, 현재 데이터나 임베딩 공간에서의 분류 능력이 제한됨을 시사한다.