[논문 리뷰] Actions and Attributes from Wholes and Parts

Georgia Gkioxari, Ross Girshick외 1명|arXiv (Cornell University)|2014. 12. 08.

Human Pose and Action Recognition참고 문헌 27인용 수 11

한 줄 요약

이 논문은 컨볼루션 신경망 특징에서 신체 부위(머리, 흉부, 다리)를 탐지하기 위한 새로운 딥 버전의 포즈릿(deep version of poselets)을 사용하여 인간의 동작 및 특성 분류를 위한 딥 파트기반 접근법을 제안한다. 전체 신체 및 부위 수준의 특징에 대해 동시에 미세조정(fine-tuning)하는 힐로지컬 CNN을 통해, 오라클 바운딩 박스 대신 R-CNN 탐지 결과를 사용하는 경우에도 PASCAL VOC 2012 액션 및 Berkeley Attributes of People 데이터셋에서 최신 기술(SOTA) 성능을 달성하며, 이는 심층 힐로지컬 모델의 발전에도 불구하고 명시적인 부위 모델링이 여전히 유용함을 시사한다.

ABSTRACT

We investigate the importance of parts for the tasks of action and attribute classification. We develop a part-based approach by leveraging convolutional network features inspired by recent advances in computer vision. Our part detectors are a deep version of poselets and capture parts of the human body under a distinct set of poses. For the tasks of action and attribute classification, we train holistic convolutional neural networks and show that adding parts leads to top-performing results for both tasks. In addition, we demonstrate the effectiveness of our approach when we replace an oracle person detector, as is the default in the current evaluation protocol for both tasks, with a state-of-the-art person detection system.

연구 동기 및 목표

• 최근 힐로지컬 CNN의 성공에 비추어 볼 때, 파트기반 모델링이 동작 및 특성 분류에 여전히 필수적인지 명확히 하기 위해.
• 기존의 저수준 HOG 특징이 아닌 고수준 CNN 특징에서 작동하는, 딥 파생 파트 탐지기( poselet-inspired part detector)를 개발하기 위해.
• 테스트 시 오라클 바운딩 박스 대신 최신 기술의 인물 탐지기(person detector)를 사용할 경우 부위의 영향을 평가하기 위해.
• 부위로 인한 성능 향상이 부위 자체의 기여 때문인지, 이전 연구에서 사용된 힐로지컬 베이스라인의 취약성 때문인지 탐구하기 위해.

제안 방법

• 기존의 HOG 특징을 대체하여 사전 학습된 CNN(예: CaffeNet)에서 유도된 깊이 있는 특징 피라미드를 기반으로 훈련된 슬라이딩 윈도우 탐지기로 작동하는 딥 포즈릿의 제안.
• 핵심점(keypoints)을 군집화하여 머리, 흉부, 다리와 같은 세 가지 주요 신체 부위를 탐지함으로써 다양한 자세에서도 탐지 가능하도록 설계.
• 기존 평가 프로토콜에서 사용되는 오라클 바운딩 박스 대신 R-CNN 인물 탐지기의 영역 제안(region proposals)을 입력으로 사용.
• 전체 인물과 각 탐지된 부위를 위한 두 개의 분류 헤드를 사용하며, 특징는 미세조정된 CNN에 입력됨.
• 작업별로 미세조정된 CNN을 적용하여, 전체 인스턴스와 부위에 동시에 미세조정하는 것과 인스턴스 전용으로만 미세조정하는 것의 성능 비교.
• 표준 벤치마크인 PASCAL VOC 2012 액션 및 Berkeley Attributes of People에서 평가 지표로 평균 정밀도(AP)를 사용함.

실험 결과

연구 질문

• RQ1 강력한 힐로지컬 CNN을 사용할 경우에도 파트기반 모델링이 동작 및 특성 분류에 여전히 유의미한 성능 향상을 제공하는가?
• RQ2 CNN 특징에서 작동하는 딥 파트 탐지기가 기존의 HOG 기반 포즈릿보다 어려운 신체 부위(예: 앉아 있는 다리) 탐지에서 더 뛰어난 성능을 낼 수 있는가?
• RQ3 평가 시 오라클 인물 바운딩 박스를 최신 기술의 R-CNN 탐지 결과로 대체할 경우 성능는 어떻게 변화하는가?
• RQ4 부위로 인한 성능 향상의 주요 원인이 부위 자체인지, 이전 연구에서 사용된 힐로지컬 베이스라인의 취약성 때문인지?

주요 결과

• R-CNN 탐지 결과를 사용함에도 불구하고, 제안된 방법은 PASCAL VOC 2012 액션 분류 벤치마크에서 최신 기술 성능을 달성하였으며, 평균 AP는 86.1%를 기록함.
• Berkeley Attributes of People 데이터셋에서 공동 미세조정된 16층 모델은 R-CNN 탐지 결과를 사용할 때 89.5% mAP를 달성하여, 이전 최신 기술인 PANDA 시스템(79.0% mAP)을 초월함.
• 부위 없이도 16층 힐로지컬 CNN은 특성 데이터셋에서 88.4% mAP를 기록하며, PANDA 시스템의 성능을 재현함으로써 이전 최신 기술 성과의 대부분이 약한 베이스라인에 기인했음을 시사함.
• 更深이 된 네트워크에서 부위 추가로 얻는 여유 성능 향상은 점점 감소함을 확인하여, 힐로지컬 모델이 발전할수록 명시적 부위 모델링의 기여도가 점차 줄어들 수 있음을 시사함.
• 오라클 바운딩 박스를 R-CNN 탐지 결과로 대체하더라도 성능 저하가 미미함(예: 특성 데이터셋에서 mAP 3.5%p 감소), 실제 검출 시스템을 평가에 활용하는 것이 타당함을 검증함.
• 전체 인스턴스와 부위 양쪽에 대해 동시에 CNN을 미세조정하는 것이 인스턴스 전용 미세조정보다 성능이 뛰어나며, 특히 얕은 네트워크에서 두드러짐.