[논문 리뷰] PANDA: Pose Aligned Networks for Deep Attribute Modeling

Ning Zhang, Manohar Paluri외 3명|arXiv (Cornell University)|2013. 11. 21.

Human Pose and Action Recognition참고 문헌 24인용 수 23

한 줄 요약

PANDA는 자세 정규화된 부분 검출기(자세선, poselets)와 컨volution 신경망(CNNs)을 결합함으로써 인간 속성 인식 성능을 향상시키는 새로운 딥러닝 프레임워크를 제안한다. 자세에 맞춰 정규화된 이미지 패치에 대해 별도의 CNN을 훈련하고, 그 특징을 연결함으로써 PANDA는 베이크리지 속성 인식 및 LFW와 같은 벤치마크 데이터셋에서 자세 및 시점 변화가 심한 상황에서도 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

We propose a method for inferring human attributes (such as gender, hair style, clothes style, expression, action) from images of people under large variation of viewpoint, pose, appearance, articulation and occlusion. Convolutional Neural Nets (CNN) have been shown to perform very well on large scale object recognition problems. In the context of attribute classification, however, the signal is often subtle and it may cover only a small part of the image, while the image is dominated by the effects of pose and viewpoint. Discounting for pose variation would require training on very large labeled datasets which are not presently available. Part-based models, such as poselets and DPM have been shown to perform well for this problem but they are limited by shallow low-level features. We propose a new method which combines part-based models and deep learning by training pose-normalized CNNs. We show substantial improvement vs. state-of-the-art methods on challenging attribute classification tasks in unconstrained settings. Experiments confirm that our method outperforms both the best part-based methods on this problem and conventional CNNs trained on the full bounding box of the person.

연구 동기 및 목표

• 자세, 시점, 가림 등 심한 변형이 존재하는 비제약 환경에서 정확한 인간 속성 인식 문제를 해결하기 위해.
• 자세와 외형 변화에 의해 지배될 때 미세한 속성 신호를 파악하기 어려운 통합 CNN 모델의 한계를 극복하기 위해.
• 자세선 국소화 등의 부분 기반 모델의 강점을 딥러닝과 융합함으로써 자세 정규화된 특징 학습을 가능하게 하기 위해.
• 전체 이미지 CNN보다 국소화된 자세 정렬 부분에서 딥 네트워크를 훈련하면, 더 작은 데이터셋에서도 더 뛰어난 성능을 내는가를 입증하기 위해.
• 다양한 속성 예측 작업과 데이터셋에 일반화되는 재사용 가능한 특징 표현을 개발하기 위해.

제안 방법

• 키포인트 레이블이 부여된 이미지에서 학습된 부분 검출기(자세선)를 사용하여 특정 자세에서 의미 있는 신체 부위(예: 얼굴, 흉부)를 국소화한다.
• 각 자세선에 대해, 검출된 부위 중심의 자르기 패치에 대해 별도의 딥 CNN을 훈련하여 자세 정규화된 특징을 학습한다.
• 모든 자세선 전용 CNN의 최상위 레이어 활성화값을 연결하여 통합된 자세 정렬된 깊은 표현을 형성한다.
• 최종 속성 예측은 연결된 자세 정규화된 특징에 대해 선형 SVM 분류기로 수행된다.
• 두 단계 파이프라인을 사용해 엔드 투 엔드로 프레임워크를 훈련한다: 첫 번째 단계에서 키포인트 데이터에서 자세선을 학습하고, 두 번째 단계에서 해당 패치에 대해 부분 전용 CNN을 훈련한다.
• 이 방법은 DPM 부분과 같은 다른 부분 검출기로 확장 가능하며, 데이터셋 간 특징 재사용을 지원한다.

실험 결과

연구 질문

• RQ1 큰 자세 및 시점 변화가 존재하는 상황에서 부분 기반 국소화와 딥 CNN을 조합하면 속성 인식 성능이 향상되는가?
• RQ2 전체 인체 바운딩 박스가 아닌 자세 정규화된 이미지 패치에서 CNN을 훈련하면, 특히 데이터가 제한적일 경우 더 나은 특징 학습이 이루어지는가?
• RQ3 실제 비제약적 환경의 속성 데이터셋에서 PANDA의 성능은 최신 기술 수준의 통합 CNN 및 부분 기반 모델보다 뛰어나게 되는가?
• RQ4 다중 중복 자세선 검출기의 사용이 속성 예측의 정확성과 강건성에 얼마나 기여하는가?
• RQ5 자세 정규화된 깊은 표현은 재훈련 없이도 다양한 데이터셋과 속성 유형에 일반화되는가?

주요 결과

• Labeled Faces in the Wild (LFW) 데이터셋에서 성별 인식 평균 정밀도는 99.54%를 기록하여 이전 최고 성능(95.52% for Simile 및 96.43% for frontal-face poselets)을 크게 뛰어넘었다.
• Berkeley Attributes of People 데이터셋에서 PANDA는 최신 기술 수준의 성능을 달성하였으며, 자세 및 시점 변화가 있는 상황에서도 성별, 헤어 스타일, 옷 스타일 등의 속성 분류 정확도가 뛰어나게 나타났다.
• 23.5K개의 훈련 예제만으로도 PANDA는 90K개 예제로 훈련된 통합 CNN(DL Pure)보다 성능이 뛰어나, 자세 정렬이 더 효율적인 학습을 가능하게 함을 시사한다.
• PANDA의 성능 향상은 특히 가림과 비면대상 시점에서 가장 두드러지며, 이 경우 통합 CNN은 미세한 속성 신호를 포착하지 못한다.
• 다양한 자세선 기반 분류기의 조합은 강건성을 향상시키며, 전면 얼굴 자세선만으로는 전체 PANDA 시스템보다 성능이 열 劣하므로 상호 보완적인 신호 학습이 이루어짐을 보여준다.
• PANDA의 특징 표현은 일반적이고 이식 가능하며, Attribute-25K 데이터셋에서 다른 데이터셋으로 훈련된 CNN을 사용해도 성별 인식 작업에서 뛰어난 성능을 달성한다.