[논문 리뷰] AI-based BMI Inference from Facial Images: An Application to Weight Monitoring

Hera Siddiqui, Ajita Rattani외 2명|arXiv (Cornell University)|2020. 10. 14.

Cardiovascular Health and Risk Factors인용 수 4

한 줄 요약

이 논문은 전이 학습과 회귀를 활용하여 얼굴 영상에서 체질량지수(BMI)를 추정하기 위해 VGG19, ResNet50, DenseNet, MobileNet, lightCNN의 다섯 가지 딥 러닝 기반 CNN 아키텍처를 제안하고 평가한다. 주요 발견은 ResNet50가 보스코리안 데이터셋에서 평균 절대 오차(MAE) 1.04를 기록하여 잔차 연결이 얼굴 특징에서 BMI 추론에 효과적임을 보여준다는 것이다.

ABSTRACT

Self-diagnostic image-based methods for healthy weight monitoring is gaining increased interest following the alarming trend of obesity. Only a handful of academic studies exist that investigate AI-based methods for Body Mass Index (BMI) inference from facial images as a solution to healthy weight monitoring and management. To promote further research and development in this area, we evaluate and compare the performance of five different deep-learning based Convolutional Neural Network (CNN) architectures i.e., VGG19, ResNet50, DenseNet, MobileNet, and lightCNN for BMI inference from facial images. Experimental results on the three publicly available BMI annotated facial image datasets assembled from social media, namely, VisualBMI, VIP-Attributes, and Bollywood datasets, suggest the efficacy of the deep learning methods in BMI inference from face images with minimum Mean Absolute Error (MAE) of $1.04$ obtained using ResNet50.

연구 동기 및 목표

• 다양한 딥 CNN 아키텍처의 성능을 얼굴 영상에서 BMI 추론에 대해 조사하고 비교하기.
• 사전 훈련된 CNN(VGG19, ResNet50, DenseNet, MobileNet, lightCNN)이 전이 학습을 통해 BMI를 추정하는 데 얼마나 효과적인지 평가하기.
• 다양한 회귀 기법(SVR, Ridge Regression)이 BMI 예측 정확도에 미치는 영향 분석하기.
• 다양한 인구 통계 및 영상 품질을 가진 다양한 얼굴 영상 데이터셋 간의 모델 일반화 능력 평가하기.
• 모바일 헬스 애플리케이션에서 저지연, 온디바이스 배포에 가장 효과적인 아키텍처 식별하기.

제안 방법

• 이미지넷 사전 훈련된 CNN(VGG19, ResNet50, DenseNet, MobileNet, lightCNN)을 사용하여 얼굴 영상에서 깊은 특징을 추출함으로써 전이 학습을 구현한다.
• 사전 훈련된 CNN은 미세조정하거나 특징 추출기로 사용되며, 최종 레이어는 BMI를 연속적인 값으로 회귀하기 위해 교체된다.
• 추출된 깊은 특징에 대해 두 가지 회귀 모델인 서포트 벡터 회귀(SVR)와 릿지 회귀(RR)를 적용하여 BMI 예측을 수행한다.
• 세 가지 공개 데이터셋인 VisualBMI, VIP-Attributes, Bollywood에서 실험을 수행하였으며, 각각 다양한 인구 통계 및 영상 조건을 포함한다.
• 모델 성능은 평균 절대 오차(MAE)를 사용해 평가되며, 총합, 남성 및 여성 하위집단에 대해 별도의 지표를 계산한다.
• 비교를 위해 스무드 L1 손실을 사용한 커스텀 CNN의 엔드 투 엔드 훈련도 수행한다.

실험 결과

연구 질문

• RQ1 다양한 데이터셋에 걸쳐 얼굴 영상에 적용되었을 때, 어떤 딥 CNN 아키텍처가 가장 낮은 BMI 예측 오차를 기록하는가?
• RQ2 깊은 특징과 조합되었을 때, 다양한 회귀 기법(SVR 대 릿지 회귀)이 BMI 추론 성능에 어떤 영향을 미치는가?
• RQ3 조명, 자세, 메이크업 및 인구 통계 다양성 등의 요인으로 인한 데이터셋 변동성은 BMI 예측 정확도에 어떤 영향을 미치는가?
• RQ4 사전 훈련된 CNN과 커스텀 트레이닝된 CNN 간의 성능 격차는 얼굴 영상에서 BMI 추정 시 어떻게 나타나는가?
• RQ5 잔차 연결과 특징 재사용 등의 아키텍처적 이점 덕분에 ResNet과 DenseNet 아키텍처가 다른 아키텍처들보다 얼마나 뛰어나게 성능을 내는가?

주요 결과

• ResNet50는 Ridge Regression과 조합하여 보스코리안 데이터셋에서 평균 절대 오차(MAE) 1.04를 기록하여 모든 모델 중에서 가장 낮은 오차를 기록하였다.
• VIP-Attributes 데이터셋에서는 ResNet50가 Ridge Regression과 조합하여 MAE 1.13을 기록하였으며, 이는 모든 모델 중에서 가장 낮은 성능을 기록하였으며, BMI 분산이 낮은 유명인 영상에서의 강력한 성능을 시사한다.
• DenseNet과 ResNet50는 모든 데이터셋에서 VGG19, MobileNet, lightCNN를 뛰어넘었으며, 특히 Ridge Regression을 사용할 경우 두드러진 성능을 보였다.
• 모든 모델 및 데이터셋에서 Ridge Regression을 사용할 경우 SVR 대비 더 낮은 MAE를 기록하여 일반적으로 더 낮은 오차를 기록함을 확인하였다.
• 커스텀 CNN 아키텍처는 사전 훈련된 모델 대비 유의미하게 높은 MAE(4.12에서 6.65 범위)를 기록하였으며, 이는 제한된 훈련 데이터로 인한 과적합을 시사한다.
• 남성 및 여성 집단 간 예측 오차에 유의미한 차이가 관찰되지 않아, 남성 및 여성 모두에서 일관된 성능을 보였음을 시사한다.