[논문 리뷰] CILF-CIAE: CLIP-driven Image-Language Fusion for Correcting Inverse Age Estimation

Yuntao Shou, Wei Ai외 3명|arXiv (Cornell University)|2023. 12. 04.

Face recognition and analysis인용 수 5

한 줄 요약

이 논문은 CLIP 기반의 제로샷 연령 추정 프레임워크인 CZL-CIAE를 제안한다. 이는 대조적 비전-언어 특징을 활용하고, 공간적 및 채널별 특징 융합을 위한 푸리에 기반 트랜스포머(FourierFormer)와 역행성 오류 보정 모듈을 통해 미사용 연령 카테고리에서의 연령 예측 정확도를 향상시킨다. 제안된 방법은 다양한 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 30%의 미사용 카테고리가 존재하는 제로샷 설정에서 기준 CLIP 대비 평균 절대오차(MAE)를 최대 25%까지 감소시킨다.

ABSTRACT

The age estimation task aims to predict the age of an individual by analyzing facial features in an image. The development of age estimation can improve the efficiency and accuracy of various applications (e.g., age verification and secure access control, etc.). In recent years, contrastive language-image pre-training (CLIP) has been widely used in various multimodal tasks and has made some progress in the field of age estimation. However, existing CLIP-based age estimation methods require high memory usage (quadratic complexity) when globally modeling images, and lack an error feedback mechanism to prompt the model about the quality of age prediction results. To tackle the above issues, we propose a novel CLIP-driven Image-Language Fusion for Correcting Inverse Age Estimation (CILF-CIAE). Specifically, we first introduce the CLIP model to extract image features and text semantic information respectively, and map them into a highly semantically aligned high-dimensional feature space. Next, we designed a new Transformer architecture (i.e., FourierFormer) to achieve channel evolution and spatial interaction of images, and to fuse image and text semantic information. Compared with the quadratic complexity of the attention mechanism, the proposed Fourierformer is of linear log complexity. To further narrow the semantic gap between image and text features, we utilize an efficient contrastive multimodal learning module that supervises the multimodal fusion process of FourierFormer through contrastive loss for image-text matching, thereby improving the interaction effect between different modalities. Finally, we introduce reversible age estimation, which uses end-to-end error feedback to reduce the error rate of age predictions. Through extensive experiments on multiple data sets, CILF-CIAE has achieved better age prediction results.

연구 동기 및 목표

• 기존 제로샷 연령 추정 방법이 미사용 연령 카테고리에서 낮은 성능을 보이는 문제를 해결하기 위해.
• 미사용 연령 그룹에 대한 레이블링된 학습 데이터가 필요 없이 연령 추정의 일반화 성능을 향상시키기 위해.
• 예측 오차를 통제 가능한 피드백 메커니즘을 도입하여 연령 추정의 오차를 줄이기 위해.
• CLIP의 사전 훈련된 비전-언어 정렬 특징을 활용하여 연령 추정으로의 제로샷 전이를 가능하게 하기 위해.
• 공간적 및 채널별 특징 상호작용을 향상시키는 새로운 푸리에 기반 트랜스포머 아키텍처를 설계하기 위해.

제안 방법

• 공유된 임bedding 공간 내에서 CLIP의 이미지 및 텍스트 인코더를 사용하여 정렬된 시각적 및 텍스트적 특징을 추출한다.
• 표준 어텐션 메커니즘을 푸리에 사전 지식으로 대체하여 이미지 특징의 공간적 및 채널별 상호작용을 모델링하는 FourierFormer 아키텍처를 도입한다.
• 이미지 및 텍스트 특징 간의 대조적 학습을 수행하여 제로샷 전이를 위한 의미적 표현을 정렬한다.
• 종단 간 오류 피드백을 사용하여 예측을 정밀하게 조정하고 회귀 오차를 줄이는 역행성 연령 추정 모듈을 활용한다.
• FourierFormer을 통해 CLIP로 인코딩된 이미지 및 텍스트 특징을 융합하여 연령 예측을 위한 맥락 인식 표현을 생성한다.
• 대조적 학습과 연령 회귀를 통합한 다중 과제 손실을 사용하여 전체 모델을 종단 간으로 훈련한다.

실험 결과

연구 질문

• RQ1 레이블된 연령 데이터에 대한 미세조정 없이도 CLIP의 사전 훈련된 비전-언어 특징을 효과적으로 활용하여 제로샷 연령 추정에 적용할 수 있는가?
• RQ2 Transformer 아키텍처에서 표준 어텐션을 푸리에 사전 지식으로 대체할 경우, 연령 추정에서 특징 표현에 어떤 영향을 미치는가?
• RQ3 종단 간 오류 보정 메커니즘이 제로샷 설정에서 연령 예측 정확도를 얼마나 향상시키는가?
• RQ4 개별 구성 요소(공간 상호작용, 채널 진화, 오류 보정)가 미사용 연령 카테고리에서의 전체 성능에 기여하는 정도는 어떠한가?
• RQ5 높은 데이터 희소성(예: 30%의 미사용 카테고리) 조건에서 제안된 방법이 기준 CLIP 및 기존 제로샷 연령 추정 모델보다 더 잘 일반화되는가?

주요 결과

• 30%의 테스트 카테고리가 미사용일 때, 모든 6개 데이터셋에서 최저의 MAE를 기록하며, MORPH-S1에서 평균 MAE는 23.7이다.
• 20%의 카테고리가 미사용일 때, 오류 보정 모듈만으로 기준 CLIP 모델 대비 평균 2.4점의 MAE 감소를 달성한다.
• 공간 상호작용 모듈과 오류 보정 모듈의 조합이 가장 높은 성능을 보이며, 채널 진화 모듈만 사용하는 것보다 MAE를 3.2점 감소시킨다.
• 절단 실험 결과, 공간 상호작용, 채널 진화, 오류 보정의 세 모듈 모두 성능 향상에 기여하며, 전체 모델이 모든 설정에서 절단된 버전보다 뛰어난 성능을 보인다.
• 30%의 미사용 카테고리가 존재하는 FGNET 데이터셋에서 CZL-CIAE는 MAE 23.7을 기록하며, 기준 CLIP 모델 대비 4.6점 향상된 성능을 달성한다.
• 모든 테스트 분할에서 일관된 성능 향상을 유지하여, 다양한 수준의 도메인 이탈이 발생하는 미사용 연령 그룹에 대해 강력한 내구성을 입증한다.