[논문 리뷰] Attributes for Improved Attributes: A Multi-Task Network for Attribute Classification

Emily Hand, Rama Chellappa|arXiv (Cornell University)|2016. 04. 25.

Face recognition and analysis참고 문헌 25인용 수 25

한 줄 요약

이 논문은 공유된 낮은 수준의 레이어를 통해 속성 간 관계를 활용하고, 관련 속성에 대해 그룹화된 높은 수준의 레이어를 사용하며, 점수 수준의 융합 네트워크를 통해 얼굴 속성 분류 성능을 향상시키는 보조 네트워크를 갖춘 다중 작업 딥 컨volution 신경망(MCNN-AUX)을 제안한다. 이 방법은 CelebA와 LFWA에서 최신 기술 수준(SOTA) 성능을 달성하며, 파rameter 수를 4배 줄이고 학습 시간을 16배 감소시켰으며, 이전 방법보다 최대 15% 높은 정확도를 기록한다.

ABSTRACT

Attributes, or semantic features, have gained popularity in the past few years in domains ranging from activity recognition in video to face verification. Improving the accuracy of attribute classifiers is an important first step in any application which uses these attributes. In most works to date, attributes have been considered to be independent. However, we know this not to be the case. Many attributes are very strongly related, such as heavy makeup and wearing lipstick. We propose to take advantage of attribute relationships in three ways: by using a multi-task deep convolutional neural network (MCNN) sharing the lowest layers amongst all attributes, sharing the higher layers for related attributes, and by building an auxiliary network on top of the MCNN which utilizes the scores from all attributes to improve the final classification of each attribute. We demonstrate the effectiveness of our method by producing results on two challenging publicly available datasets.

연구 동기 및 목표

• 기존 방법들이 얼굴 속성을 상호 의존성이 강한 (예: 립스틱과 뚜렷한 메이크업) 것으로 간주함에도 불구하고 독립적으로 다루는 한계를 해결한다.
• 딥 러닝을 통해 속성 간 의미론적 관계를 활용하여 속성 분류 정확도를 향상시킨다.
• 비싼 사전 훈련이나 데이터 정렬에 의존하지 않고 모델 복잡도와 학습 시간을 감소시킨다.
• 통합된 다중 작업 프레임워크를 사용해 대규모 데이터셋(CelebA와 LFWA)에서 최신 기술 수준의 성능을 입증한다.
• 각 속성 점수 상호 간 영향을 명시적으로 모델링하여 최종 예측을 개선하는 보조 네트워크를 개발한다.

제안 방법

• 모든 속성에 걸쳐 가장 낮은 컨볼루션 레이어를 공유하여 공통된 저수준 특징을 학습하는 다중 작업 딥 컨볼루션 신경망(MCNN)을 설계한다.
• 예: 메이크업, 립스틱, 수염과 같은 관련 속성을 높은 레이어에서 그룹화하여 특징 표현을 공유함으로써 의미론적 종속성을 캡처한다.
• 모든 속성의 원시 점수를 입력으로 받는 보조 네트워크(AUX)를 도입하여 상호 속성 관계를 활용해 각 속성의 예측을 개선한다.
• 모든 속성의 교차 엔트로피 손실을 최적화하기 위해 MCNN와 AUX를 엔드 투 엔드 백프로파게이션을 통해 함께 훈련한다.
• 특히 LFWA 데이터셋이 작기 때문에 과적합을 완화하기 위해 데이터 증강(jittering)을 사용한다.
• 사전 훈련, 정렬, 또는 부분 추출을 회피하고, 성능 향상을 위해 오직 다중 작업 아키텍처에 의존한다.

실험 결과

연구 질문

• RQ1 공유된 표현을 통해 상호 속성 간 관계를 모델링하면 얼굴 속성 분류 정확도가 향상되는가?
• RQ2 독립적인 분류기와 비교해 다중 작업 딥 러닝 프레임워크가 모델 복잡도와 학습 시간을 감소시키는가?
• RQ3 속성 점수를 융합하는 보조 네트워크가 MCNN 자체 성능을 초월해 최종 분류 성능을 향상시키는가?
• RQ4 속성 간 관계(예: 립스틱 → 여성, 뚜렷한 메이크업 → 립스틱)는 학습된 모델 가중치에 어떻게 반영되는가?
• RQ5 사전 훈련 없이도 MCNN-AUX 프레임워크는 CelebA와 LFWA와 같은 다양한 데이터셋에 얼마나 일반화되는가?

주요 결과

• MCNN-AUX 프레임워크는 CelebA와 LFWA 양쪽에서 최신 기술 수준의 성능을 달성했으며, Liu 등에 의한 이전 방법들을 여러 속성에서 뛰어넘었다.
• CelebA에서 '뚜렷한 메이크업'과 '백색 피부'와 같은 속성에 대해 기준 방법 대비 최대 15%의 정확도 향상을 기록했다.
• 속성 간 파라미터 공유 덕분에 모델 파라미터 수가 6400만에서 1600만으로 4배 감소했다.
• 독립적인 CNN과 비교해 학습 시간이 16배 이상 감소하여 뚜렷한 효율성 향상을 입증했다.
• 보조 네트워크(AUX)는 히트맵을 통해 '립스틱'과 '뚜렷한 메이크업'이 '여성' 예측에 강한 정적 영향을 미친다는 점에서 의미 있는 상호 속성 관계를 학습했다.
• 사전 훈련 없이도 MCNN-AUX는 LFWA에서 18개 속성 중 11개에서 Liu 등의 방법을 뛰어넘었으며, '붉은 뺨'은 11% 향상되고 '백색 피부'는 10% 향상되었다.