[논문 리뷰] Contextual Action Recognition with R*CNN

Georgia Gkioxari, Ross Girshick외 1명|arXiv (Cornell University)|2015. 05. 05.

Human Pose and Action Recognition참고 문헌 28인용 수 72

한 줄 요약

이 논문은 주요 인물 영역과 유의미한 보조적 맥락 영역을 함께 모델링함으로써 동작 인식을 향상시키는 R∗CNN을 제안한다. 엔드 투 엔드 학습을 통해 자세와 환경 맥락을 모두 활용함으로써 R∗CNN은 PASCAL VOC Actions에서 90.2%의 평균 mAP를 달성하여 이전 방법보다 6个百分点 높으며, 속성 분류 과제도 최고 성능을 기록한다.

ABSTRACT

There are multiple cues in an image which reveal what action a person is performing. For example, a jogger has a pose that is characteristic for jogging, but the scene (e.g. road, trail) and the presence of other joggers can be an additional source of information. In this work, we exploit the simple observation that actions are accompanied by contextual cues to build a strong action recognition system. We adapt RCNN to use more than one region for classification while still maintaining the ability to localize the action. We call our system R*CNN. The action-specific models and the feature maps are trained jointly, allowing for action specific representations to emerge. R*CNN achieves 90.2% mean AP on the PASAL VOC Action dataset, outperforming all other approaches in the field by a significant margin. Last, we show that R*CNN is not limited to action recognition. In particular, R*CNN can also be used to tackle fine-grained tasks such as attribute classification. We validate this claim by reporting state-of-the-art performance on the Berkeley Attributes of People dataset.

연구 동기 및 목표

• 사람 자세 외의 맥락적 신호를 활용하여 정적 이미지 내 동작 인식을 향상시키는 것.
• 행동 특화 특징과 맥락적 표현을 함께 학습하는 딥 러닝 프레임워크를 개발하는 것.
• RCNN 프레임워크를 확장하여 이미지당 다수의 영역을 사용하여 정밀한 국소화와 분류를 향상시키는 것.
• 이 방법이 '속성 분류'와 같은 세분화된 시각 인식 과제로 일반화될 수 있음을 보여주는 것.
• 모델이 의미적으로 관련 있는 맥락적 영역에 주의를 기울이는지 시각화하고 검증하는 것.

제안 방법

• R∗CNN은 이미지당 주요 영역(관심 대상인 사람)과 후보 보조 영역(맥락적 신호)의 집합을 도입함으로써 RCNN을 확장한다.
• 각 행동에 대해, 모델은 주요 영역 특징과 보조 영역에서의 최대 점수의 합으로 점수를 계산한다: score(α; I, r) = w_p^α ⋅ φ(r; I) + max_{s ∈ R(r;I)} w_s^α ⋅ φ(s; I).
• 최종 예측은 모든 행동 점수에 대해 소프트맥스를 적용하여 클래스 확률로 변환함으로써 도출된다.
• 특징 φ(⋅)와 가중치 w_p^α, w_s^α는 CNN 기반 모델에서 확률적 경사 하강법을 사용해 공동으로 학습된다.
• 이 방법은 영역 제안 기반으로 처리하여 이미지당 다수의 후보 영역을 효율적으로 처리하며, 계산 효율성을 확보하기 위해 Fast RCNN을 기반으로 한다.
• 다중 레이블 속성 분류를 위해 손실 함수는 소프트맥스 대신 독립적인 로지스틱 출력에 대한 교차 엔트로피로 조정된다.

실험 결과

연구 질문

• RQ1 장면, 물체, 주변 사람과 같은 맥락적 신호가 정적 이미지 내 동작 인식에 도움이 될 수 있는가?
• RQ2 수동으로 맥락을 주석 처리하지 않고도 딥 러닝 모델이 행동 특화 표현과 맥락적 영역 선택을 함께 학습할 수 있는가?
• RQ3 주요 영역 + 최적의 보조 영역을 사용하는 다중 영역 접근 방식이 단일 영역 모델보다 성능이 뛰어나게 되는가?
• RQ4 동일한 아키텍처가 '속성 분류'와 같은 세분화된 인식 과제로 일반화될 수 있는가?
• RQ5 선택된 보조 영역이 행동이나 속성과 관련된 의미적으로 유의미한 맥락적 특징을 반영하는가?

주요 결과

• R∗CNN은 PASCAL VOC Actions 데이터셋에서 90.2%의 평균 mAP를 달성하여 이전 최고 성능보다 6个百分点 높다.
• 더 큰 MPII Human Pose 데이터셋에서 R∗CNN은 26.7%의 mAP를 기록하여 이전 최고 성능 방법(5.5% mAP)을 크게 앞서며 뚜렷한 성능 향상을 보였다.
• Stanford 40 Actions 데이터셋에서 R∗CNN은 평균 90.9%의 mAP를 기록했으며, '메시지 보내기'는 70.5%에서 '바이올린 연주하기'는 100%까지 성능이 다양하게 나타났다.
• Berkeley Attributes of People 데이터셋에서 R∗CNN은 89.2%의 mAP를 기록하여 속성 분류 과제에서 새로운 최고 성능을 수립했다.
• 시각화 결과 보조 영역이 관련 맥락적 부분에 주의를 기울인다는 것이 확인되었다: 예를 들어 '긴팔'의 경우 팔과 흉부, '모자 쓰기'의 경우 얼굴에 주목한다.
• 모델은 훈련 시 부위나 관절 키포인트 주석이 필요 없이도 동작 인식과 세분화된 속성 예측에 잘 일반화된다.