[논문 리뷰] 15M Multimodal Facial Image-Text Dataset

Dawei Dai, YuTang Li외 4명|ArXiv.org|2024. 07. 11.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 1,500만 개 이상의 고품질, 다양한 종류의 자연스러운 설명을 가진 얼굴 이미지-캡션 쌍을 포함한, 공개적으로 이용 가능한 가장 큰 얼굴 이미지-텍스트 데이터셋인 FaceCaption-15M을 소개한다. 저자들은 이 데이터셋을 기반으로 CLIP 유사 모델인 FLIP을 훈련시켜 얼굴 특성 인식, 텍스트-이미지 검색, 스케치 기반 얼굴 검색 등에서 최신 기술 수준의 성능을 달성하였으며, 이는 얼굴 중심의 다중모달 학습에 있어서 데이터셋의 효과성을 입증한다.

ABSTRACT

Currently, image-text-driven multi-modal deep learning models have demonstrated their outstanding potential in many fields. In practice, tasks centered around facial images have broad application prospects. This paper presents extbf{FaceCaption-15M}, a large-scale, diverse, and high-quality dataset of facial images accompanied by their natural language descriptions (facial image-to-text). This dataset aims to facilitate a study on face-centered tasks. FaceCaption-15M comprises over 15 million pairs of facial images and their corresponding natural language descriptions of facial features, making it the largest facial image-caption dataset to date. We conducted a comprehensive analysis of image quality, text naturalness, text complexity, and text-image relevance to demonstrate the superiority of FaceCaption-15M. To validate the effectiveness of FaceCaption-15M, we first trained a facial language-image pre-training model (FLIP, similar to CLIP) to align facial image with its corresponding captions in feature space. Subsequently, using both image and text encoders and fine-tuning only the linear layer, our FLIP-based models achieved state-of-the-art results on two challenging face-centered tasks. The purpose is to promote research in the field of face-related tasks through the availability of the proposed FaceCaption-15M dataset. All data, codes, and models are publicly available. https://huggingface.co/datasets/OpenFace-CQUPT/FaceCaption-15M

연구 동기 및 목표

• 다중모달 얼굴 관련 작업을 위한 강력한 이미지-텍스트 정렬을 가진 대규모 고품질 얼굴 이미지-텍스트 데이터셋의 부족을 해결하기 위해.
• 자연스럽고 세밀하며 관련성이 높은 캡션을 생성하기 위한 확장 가능하고 자동화된 파이프라인을 개발하기 위해.
• 이 데이터셋의 유용성을 입증하기 위해 얼굴 언어-이미지 사전 훈련 모델(FLIP)을 훈련하고 하류의 얼굴 중심 작업에서 평가하기 위해.
• 공개 가능한 고품질 데이터셋을 통해 얼굴 특성 인식, 텍스트-이미지 검색, 스케치 기반 얼굴 검색 분야의 연구를 촉진하기 위해.
• 데이터 수집 및 주석 처리 과정에서의 공정성과 편향 최소화를 확보하고 잠재적인 오용에 대한 윤리적 우려를 해결하기 위해.

제안 방법

• 데이터셋은 먼저 RetinaFace를 사용해 LAION-Face에서 얼굴 영역을 추출함으로써 고품질의 얼굴 중심 이미지를 확보한다.
• 이미지-텍스트 정렬을 향상시키기 위해 He 등 [26]의 방법을 사용해 얼굴 특성(예: 성별, 머리카락 색상)을 예측한다.
• 어휘 다양성과 관련성 확보를 위해 문법 템플릿과 대규모 언어 모델(Large Language Model, LLM)을 조합한 하이브리드 접근 방식을 통해 자연어 캡션을 생성한다.
• 이미지 및 텍스트 임베딩을 동일한 특징 공간에 정렬하기 위해, CLIP 유사 대비 학습 모델인 FLIP을 FaceCaption-15M에서 훈련시킨다.
• 이미지 및 텍스트 인코더를 사용해 선형 레이어만 미세조정함으로써 하류 작업에 대한 효율적인 적응을 가능하게 한다.
• 세 가지 벤치마크 작업에서 평가를 수행한다: 얼굴 특성 인식, 텍스트-이미지 검색, 스케치 기반 얼굴 검색(SLFIR).

실험 결과

연구 질문

• RQ1 대규모, 다양한 종류의 고품질 얼굴 이미지-텍스트 데이터셋은 다중모달 얼굴 관련 모델의 성능을 크게 향상시킬 수 있는가?
• RQ2 LLM를 보완한 자동 생성 캡션 파이프라인은 높은 이미지-텍스트 관련성과 자연스러움을 유지하는 데 얼마나 효과적인가?
• RQ3 FaceCaption-15M에서 사전 훈련된 모델은 얼굴 특성 인식 및 검색 작업에서 zero-shot 및 미세조정 성능을 어느 정도 향상시키는가?
• RQ4 FaceCaption-15M에서 훈련된 FLIP 모델은 특히 자원이 적거나 스케치 기반 환경에서 LAION-Face에서 사전 훈련된 모델보다 더 잘 일반화되는가?
• RQ5 이 데이터셋과 모델은 얼굴 특성 인식 및 캡션 생성에서 편향을 완화하면서도 공정성과 윤리적 무결성을 유지할 수 있는가?

주요 결과

• FaceCaption-15M는 기존 데이터셋보다 규모, 이미지 품질, 텍스트 관련성 측면에서 뛰어난 1,500만 개 이상의 이미지-캡션 쌍을 포함한다.
• FaceCaption-15M에서 사전 훈련된 FLIP 모델은 SLFIR 벤치마크에서 m@A 99.49와 m@B 71.10을 기록하여 CLIP 및 LAION-Face에서 사전 훈련된 FLIP 모델을 포함한 모든 기준 모델을 압도했다.
• 스케치 기반 얼굴 검색 작업에서 FLIP 기반 모델은 몇 개의 스케치 선만으로도 정답 얼굴을 상위 5개 내에 검색할 수 있었으며, 이는 초기 검색 성능이 매우 우수함을 보여준다.
• FaceCaption-15M에서 사전 훈련된 FLIP 모델은 LAION-Face에서 사전 훈련된 FLIP 모델보다 유의미한 성능 향상을 보였으며, 특히 User-SDE 평가에서 더 뛰어난 일반화 능력을 보였다. 이는 다양한 스케치 스타일에 대한 적응 능력이 뛰어나다는 것을 의미한다.
• 통계 분석을 통해 캡션 평균 30단어의 자연스러움, 강력한 이미지-텍스트 관련성, 배경 간섭 최소화를 확인하였으며, 이는 데이터셋 품질을 검증한다.
• 데이터셋은 뛰어난 공정성과 낮은 편향을 보이며, 생체 정보 유출 등의 오용 방지를 위한 철저한 촬영 및 윤리적 보호 조치를 통해 윤리적 무결성을 확보하고 있다.