[논문 리뷰] Pose-Aware Person Recognition

Vijay Kumar, Anoop Namboodiri외 2명|arXiv (Cornell University)|2017. 05. 29.

Face recognition and analysis참고 문헌 40인용 수 8

한 줄 요약

이 논문은 다수의 신체 부위와 자세 인식 융합을 통해 극한의 자세 변형 상황에서도 인식 성능을 햖을 수 있도록 자세에 민감한 딥 모델을 사용하는 자세 인식 기반 인물 인식 프레임워크를 제안한다. 다양한 벤치마크, 즉 사진 앨범, 영화, 스포츠 영상에서 최신 기술 수준의 성능을 달성하며, PIPA 데이터셋에서 순위 1 정확도가 96.56%, Hannah 데이터셋에서 84.83%, Soccer 데이터셋에서 63.2%를 기록한다.

ABSTRACT

Person recognition methods that use multiple body regions have shown significant improvements over traditional face-based recognition. One of the primary challenges in full-body person recognition is the extreme variation in pose and view point. In this work, (i) we present an approach that tackles pose variations utilizing multiple models that are trained on specific poses, and combined using pose-aware weights during testing. (ii) For learning a person representation, we propose a network that jointly optimizes a single loss over multiple body regions. (iii) Finally, we introduce new benchmarks to evaluate person recognition in diverse scenarios and show significant improvements over previously proposed approaches on all the benchmarks including the photo album setting of PIPA.

연구 동기 및 목표

• 얼굴이 가림되거나 이용할 수 없을 때와 같은 극한의 자세 및 시점 변화에 대응하는 전신 인물 인식의 과제를 해결한다.
• 자세에 무관한 표현 방식과 자세 정규화 방법의 한계를 극복하기 위해, 시점에 특화된 분류 가능한 신체 부위 특징을 학습한다.
• 자세 다양성이 높고 전면 시점이 드문 영화 및 스포츠 영상과 같은 실제 환경에서 인식의 강건성을 향상시킨다.
• 이전 연구가 주로 사진 앨범 환경에 국한되어 있던 것과 달리, 사진 앨범, 영화, 스포츠 영상 등 다양한 도메인 간 통합 평가 프레임워크를 개발한다.
• 추정된 자세 가능성에 기반해 분류기 출력을 가중치 조정하는 자세 인식 융합 전략을 도입하여 다양한 자세 상황에서의 인식 성능을 향상시킨다.

제안 방법

• 자세 공간을 이산적인 클러스터(예: 전면, 반면, 측면, 뒷면)로 분할하여, 각 시점에 특화된 다중 부위 컨볼루션 신경망(PSM)을 학습시킨다.
• 공유된 네트워크 아키텍처를 사용해 머리 및 상체와 같은 다수의 신체 부위에서 단일 식별 손실을 함께 최적화함으로써, 특징의 탄력적 활용을 가능하게 한다.
• 추론 중에 자세 클래스의 가능성 확률을 예측하기 위해 자세 추정기(포즈 추정기)를 사용하며, 이를 통해 자세 인식 가중치를 생성한다.
• 자세 추정기의 출력에서 유도된 가중치를 사용해, 다수의 자세 특화 모델과 기본 모델의 예측을 가중 평균으로 융합한다.
• 최종 레이어에서 깊이 특징(예: fc7 특징)을 추출하고, 연결 및 풀링 전략을 통해 차원을 감소시킨다.
• 오픈 세트 인식 환경에서 미지의 정체성을 거부하기 위해 예측 점수에 l2 정규화를 적용한다.

실험 결과

연구 질문

• RQ1 자세에 민감한 딥 모델이 서로 다른 신체 부위에서 학습된 결과는 자세에 무관한 모델보다 극한의 자세 변형 상황에서 더 나은 인물 인식 성능을 내는가?
• RQ2 단일 손실을 사용해 다수의 신체 부위에서 함께 최적화하면 각 부위를 별도로 학습하는 것보다 더 나은 표현을 만들어내는가?
• RQ3 자세 가능성에 기반해 분류기 출력을 가중치 조정하는 자세 인식 융합 전략이 다양한 자세 상황에서 인식 성능을 향상시키는가?
• RQ4 제안된 방법은 자세 다양성이 높고, 미지의 정체성이 흔한 영화 및 스포츠 영상과 같은 실제 환경에서 오픈 세트 시나리오에서 어떻게 성능을 내는가?
• RQ5 자세 분포가 불균형한 데이터셋(예: 뒷면 또는 측면 시점이 지배적인 데이터셋)에서도 이 프레임워크가 효과적으로 일반화되는가?

주요 결과

• 제안된 자세 인식 기반 프레임워크는 사진 앨범 설정에서 기존 방법보다 뚜렷하게 뛰어난 성능을 보이며, PIPA 데이터셋에서 순위 1 정확도 96.56%를 달성한다.
• 더 어려운 Hannah 데이터셋(영화 도메인)에서는 순위 1 정확도 84.83%를 기록하여, 다양한 자세와 비전면 시점에서도 강건함을 입증한다.
• 뒷면 이미지 비율이 높은 축구 데이터셋에서는 순위 1 정확도 63.2%를 기록하며, 자세 불균형에도 불구하고 베이스라인 방법보다 뛰어난 성능을 보인다.
• 학습된 가중치를 사용한 자세 인식 융합 전략은 평균 풀링 및 기타 앙상블 전략보다 우수하며, Hannah 데이터셋에서 순위 1과 순위 2 성능 간 12%p의 격차가 나타나 상위 예측의 신뢰도가 높음을 시사한다.
• 이 방법은 우수한 미지 인스턴스 거부 능력을 보이며, ROC AUC 점수는 자세 인식 표현에서 유도된 정규화된 예측 점수가 분포 외 샘플을 탐지하는 데 더 신뢰할 수 있음을 나타낸다.
• 최종 특징 차원은 약 18,384 × 8 = 147,072이며, PIPER보다 약 3배 작고 naeil보다 약 2배 크지만, 16,000차원 특징 벡터를 사용한 naeil보다 더 높은 정확도를 달성한다.