[논문 리뷰] iQIYI-VID: A Large Dataset for Multi-modal Person Identification

Yuanliu Liu, Bo Peng외 13명|arXiv (Cornell University)|2018. 11. 19.

Face recognition and analysis참고 문헌 79인용 수 25

한 줄 요약

이 논문은 다양한 온라인 영상에서 5,000명의 유명인에 대한 600만 개의 클립을 포함한 다중모달 인물 식별을 위한 가장 큰 영상 데이터셋인 iQIYI-VID를 소개한다. 다중모달 주의(Multi-modal Attention, MMA) 모듈을 제안하여 얼굴, 머리, 몸체 및 음성 특징을 적응적으로 융합함으로써 단일모달 기반 모델 대비 정확도를 2.61% 향상시켰으며, 기준 데이터셋에서 최종 MAP는 87.80%를 기록했다.

ABSTRACT

Person identification in the wild is very challenging due to great variation in poses, face quality, clothes, makeup and so on. Traditional research, such as face recognition, person re-identification, and speaker recognition, often focuses on a single modal of information, which is inadequate to handle all the situations in practice. Multi-modal person identification is a more promising way that we can jointly utilize face, head, body, audio features, and so on. In this paper, we introduce iQIYI-VID, the largest video dataset for multi-modal person identification. It is composed of 600K video clips of 5,000 celebrities. These video clips are extracted from 400K hours of online videos of various types, ranging from movies, variety shows, TV series, to news broadcasting. All video clips pass through a careful human annotation process, and the error rate of labels is lower than 0.2\%. We evaluated the state-of-art models of face recognition, person re-identification, and speaker recognition on the iQIYI-VID dataset. Experimental results show that these models are still far from being perfect for the task of person identification in the wild. We proposed a Multi-modal Attention module to fuse multi-modal features that can improve person identification considerably. We have released the dataset online to promote multi-modal person identification research.

연구 동기 및 목표

• 비구속적인 실세계 영상에서 단일모달 인물 식별 기법(예: 얼굴, 음성, Re-ID)의 한계를 해결하기 위해.
• 다중모달 인물 식별 연구를 지원할 수 있는 대규모이고 고품질의 영상 데이터셋을 구축하기 위해.
• 다양한 모달 간 상관관계에 기반해 다중모달 특징을 적응적으로 융합할 수 있는 학습 가능한 특징 융합 기법을 개발하기 위해.
• 도전적인 실세계 기준 데이터셋에서 최신 모델을 평가하고 다중모달 융합의 필요성을 입증하기 위해.

제안 방법

• iQIYI-VID 데이터셋은 400만 시간 분량의 다양한 온라인 영상(영화, 드라마, 뉴스 등)에서 유래했으며, 5,000명의 유명인에 대한 600만 개의 영상 클립을 포함한다.
• 모든 클립은 오류율 0.2% 이하로 수동으로 레이블링되어 있어 기준 테스트를 위한 높은 레이블 품질을 확보했다.
• 다중모달 주의(Multi-modal Attention, MMA) 모듈은 얼굴, 머리, 몸체 및 음성 특징 간의 상호모달 상관관계를 기반으로 주의 가중치를 학습한다.
• MMA 모듈은 차단된 얼굴, 비발화 음성 등 일관성 없는 또는 신뢰할 수 없는 특징을 동적으로 재가중함으로써 이를 억제한다.
• 기준 모델은 얼굴 특징에 대해 ArcFace를 사용하고, 중간 수준 특징 집합에는 NetVLAD를, 프레임 수준 융합에는 평균 풀링을 적용한다.
• 다양한 데이터 파artition에서 학습된 모델을 조합하는 앙상블 전략을 통해 확률 평균화 방식으로 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 비구속적인 영상 환경에서 다중모달 특징 융합이 단일모달 접근 방식에 비해 인물 식별 성능에 어떻게 기여하는가?
• RQ2 실세계 영상 클립에서 얼굴, 머리, 몸체 및 음성 특징이 인물 식별에 기여하는 상대적 기여도는 어떠한가?
• RQ3 학습 가능한 주의 메커니즘이 융합 과정에서 노이즈가 많거나 일관성 없는 모달 특징을 효과적으로 억제할 수 있는가?
• RQ4 제안된 다중모달 주의 모듈은 평균 풀링이나 연결과 같은 전통적인 융합 방법과 비교해 어떻게 성능을 냈는가?
• RQ5 iQIYI-VID 데이터셋은 기존 최신 기술 모델의 인물 식별 성능에 얼마나 도전적인가?

주요 결과

• 단일 얼굴 인식 기반 모델은 iQIYI-VID에서 MAP 85.19%를 기록했으며, LFW에서의 99.83% 성능에 비해 유의미하게 낮아, 이 데이터셋이 더 높은 실세계 복잡성을 반영하고 있음을 시사한다.
• 음성 전용 모델은 MAP 11.79%에 그쳐 주로 비발화 클립과 목소리 연기자 불일치로 인해 성능이 열악했다.
• 옷 차림 변화나 유사한 정복 복장으로 인해 신체 특징은 높은 내부 클래스 변동성으로 인해 성능이 열악했다.
• 모든 네 가지 모달(얼굴, 머리, 몸체, 음성)을 융합함으로써 MAP가 2.61% 향상되어 87.80%에 도달했으며, 이는 다중모달 융합의 가치를 입증한다.
• 다중모달 주의(MMA) 모듈은 표준 융합 방식 대비 성능을 0.24% 향상시켜, 신뢰할 수 없는 특징을 억제하는 데 효과적임을 입증했다.