[논문 리뷰] Fine-Grained Age Estimation in the wild with Attention LSTM Networks
이 논문은 ResNets/RoR의 전역 특징과 주의 기반 LSTM 유닛을 통해 추출한 국소적이고 연령에 민감한 영역 특징을 융합하는 Attention LSTM 네트워크(AL-ResNets 및 AL-RoR)를 제안하며, 비제한적(와일드) 환경에서의 세분화된 연령 추정에 대해 여러 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.
Age estimation from a single face image has been an essential task in the field of human-computer interaction and computer vision, which has a wide range of practical application values. Accuracy of age estimation of face images in the wild is relatively low for existing methods, because they only take into account the global features, while neglecting the fine-grained features of age-sensitive areas. We propose a novel method based on our attention long short-term memory (AL) network for fine-grained age estimation in the wild, inspired by the fine-grained categories and the visual attention mechanism. This method combines the residual networks (ResNets) or the residual network of residual network (RoR) models with LSTM units to construct AL-ResNets or AL-RoR networks to extract local features of age-sensitive regions, which effectively improves the age estimation accuracy. First, a ResNets or a RoR model pretrained on ImageNet dataset is selected as the basic model, which is then fine-tuned on the IMDB-WIKI-101 dataset for age estimation. Then, we fine-tune the ResNets or the RoR on the target age datasets to extract the global features of face images. To extract the local features of age-sensitive regions, the LSTM unit is then presented to obtain the coordinates of the agesensitive region automatically. Finally, the age group classification is conducted directly on the Adience dataset, and age-regression experiments are performed by the Deep EXpectation algorithm (DEX) on MORPH Album 2, FG-NET and 15/16LAP datasets. By combining the global and the local features, we obtain our final prediction results. Experimental results illustrate the effectiveness and robustness of the proposed AL-ResNets or AL-RoR for age estimation in the wild, where it achieves better state-of-the-art performance than all other convolutional neural network.
연구 동기 및 목표
- 비제한적 얼굴 이미지에서 전역 특징에만 의존함으로써 발생하는 낮은 연령 추정 정확도 문제를 해결한다.
- 기존 데이터셋에서 연령에 민감한 영역의 레이블이 부족한 문제를 주의 메커니즘을 활용해 자동으로 구분 가능한 얼굴 특징을 국소화함으로써 해결한다.
- 사전 훈련된 ResNets 또는 RoR의 전역 특징과 주의 기반 LSTM 유닛에서 유도된 국소 특징을 융합하여 연령 추정 성능을 향상시킨다.
- 다양한 연령 분포와 이미지 품질을 가진 실제 세계 데이터셋에서 제안된 방법의 효과성을 입증한다.
- 수동으로 부분 레이블을 요구하지 않는 새로운 종단 간 프레임워크를 제공한다.
제안 방법
- ImageNet에서 일반적 특징 학습을 위한 사전 훈련을 수행한 후, IMDB-WIKI-101 데이터셋에서 연령 특화 특징 추출을 위해 미세 조정하는 ResNet 또는 RoR 모델을 준비한다.
- 백본 네트워크에 단일 LSTM 유닛을 통합하여 주의 맵을 학습시켜 주름이나 모발과 같은 연령에 민감한 영역을 강조한다.
- 특징 맵 간의 순차적 종속성을 모델링하여 LSTM 유닛이 연령에 민감한 영역의 좌표를 예측함으로써 수동 레이블 없이도 자동으로 국소화할 수 있도록 한다.
- 주요 네트워크에서 유도한 전역 특징과 주의 가중 영역에서 추출한 국소 특징을 추출하여 최종 예측을 위해 연결한다.
- Adience 데이터셋에서는 연령 그룹 분류를 수행하고, MORPH Album 2, FG-NET 및 15/16LAP 데이터셋에서는 Deep EXpectation(DEX) 알고리즘을 사용한 연령 회귀를 수행한다.
- 회귀 및 분류 성능 평가를 위해 평균 절대 오차(MAE) 및 에프스실론 오차(ε-error) 메트릭을 사용하여 모델을 훈련하고 평가한다.
실험 결과
연구 질문
- RQ1수동 레이블이 필요 없이 주의 기반 LSTM 유닛이 연령에 민감한 얼굴 영역을 효과적으로 국소화할 수 있는가?
- RQ2심층 신경망의 전역 특징과 주의로 학습된 영역의 국소 특징을 융합함으로써 비제한적 환경에서의 연령 추정 정확도가 향상되는가?
- RQ3제안된 AL-ResNet/AL-RoR 프레임워크는 표준 연령 추정 벤치마크에서 기존의 CNN 기반 방법과 비교해 어떻게 성능을 내는가?
- RQ4주로 전역 특징에 의존하는 모델에 비해 주의 메커니즘에서 유도된 국소 특징이 예측 오차를 얼마나 줄이는가?
- RQ5Adience, MORPH, FG-NET 및 15/16LAP와 같이 다양한 연령 분포와 이미지 품질을 가진 데이터셋 간에 모델이 일반화 가능한가?
주요 결과
- AL-RoR-34 모델은 16LAP 데이터셋에서 테스트 ε-error 0.2859를 기록하여 2016 ChaLearn 경쟁에서 2위를 차지하며 단일 모델 기반 베이스라인을 능가했다.
- MORPH Album 2 데이터셋에서 AL-RoR-34 모델은 기존 최고 성능(SOTA)인 0.06년 향상된 2.36년의 최신 기술 수준 MAE를 달성했다.
- FG-NET 데이터셋에서 AL-RoR-34 모델은 도전적인 다양성 있는 연령 분포에서 뛰어난 성능을 보이며 새로운 SOTA MAE 2.39년을 기록했다.
- AL-ResNet-152 및 AL-RoR-34 모델은 ResNet-34 및 RoR-34보다 더 낮은 MAE와 ε-error를 기록하여 국소 특징 학습이 전역 특징 표현을 향상시킨다는 것을 증명했다.
- 시각적 예시에서는 DEX 및 RoR-34에 비해 AL-RoR-34 모델이 중기에서 후기 연령대에서 훨씬 더 작은 연령 예측 오차를 기록했다.
- 제거 분석 결과는 전역 특징과 국소 특징을 융합함으로써 전역 특징만을 사용하는 경우보다 연령 예측 오차를 더 효과적으로 줄일 수 있음을 확인했다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.