[논문 리뷰] Going Deeper into First-Person Activity Recognition

Minghuang Ma, Haoqi Fan외 1명|arXiv (Cornell University)|2016. 05. 12.

Human Pose and Action Recognition참고 문헌 28인용 수 27

한 줄 요약

이 논문은 첫 번째 시점 활동 인식을 위한 트윈 스트림 CNN 아키텍처를 제안하며, 외관(손 및 물체 특징)과 운동(광학 흐름)을 함께 모델링하여 행동, 물체 및 활동 인식을 향상시킵니다. 모델은 최신 기술 대비 평균 정확도를 6.6% 향상시키고, 공동 학습 및 주의 메커니즘을 통해 행동 인식은 30%, 물체 인식은 14% 향상시킵니다.

ABSTRACT

We bring together ideas from recent work on feature design for egocentric action recognition under one framework by exploring the use of deep convolutional neural networks (CNN). Recent work has shown that features such as hand appearance, object attributes, local hand motion and camera ego-motion are important for characterizing first-person actions. To integrate these ideas under one framework, we propose a twin stream network architecture, where one stream analyzes appearance information and the other stream analyzes motion information. Our appearance stream encodes prior knowledge of the egocentric paradigm by explicitly training the network to segment hands and localize objects. By visualizing certain neuron activation of our network, we show that our proposed architecture naturally learns features that capture object attributes and hand-object configurations. Our extensive experiments on benchmark egocentric action datasets show that our deep architecture enables recognition rates that significantly outperform state-of-the-art techniques -- an average $6.6\%$ increase in accuracy over all datasets. Furthermore, by learning to recognize objects, actions and activities jointly, the performance of individual recognition tasks also increase by $30\%$ (actions) and $14\%$ (objects). We also include the results of extensive ablative analysis to highlight the importance of network design decisions..

연구 동기 및 목표

• 통합된 딥 러닝 프레임워크에서 외관 및 운동 신호를 통합하여 첫 번째 시점 활동 인식의 과제를 해결합니다.
• 시선 데이터에 의존하지 않고 최신 기술을 초월하는 인식 성능 향상을 달성합니다.
• 에고센트릭 비디오에서 행동, 물체 및 활동에 대한 공동 학습의 효과성을 조사합니다.
• 중간 레이어 활성화를 시각화하여 네트워크가 학습하는 특징를 이해합니다.
• 에고센트릭 행동 인식에서 물체 국소화 및 운동의 시간적 구조의 중요성을 입증합니다.

제안 방법

• 외관 특징(손 분할 이미지 및 잘라낸 물체 패치)을 처리하는 스트림과 운동 모델링을 위한 스택된 광학 흐름 필드를 처리하는 다른 스트림을 갖춘 트윈 스트림 CNN을 설계합니다.
• 손 분할 헤드를 사용해 외관 스트림을 훈련시켜 손-물체 영역에 주의를 기울이고 특징 학습을 향상시킵니다.
• 공유된 완전 연결 레이어를 사용한 후기 융합을 통해 행동, 물체 및 활동에 대한 다중 작업 예측을 수행합니다.
• 매개변수 공유와 일반화 성능 향상을 위해 행동, 물체, 활동에 대한 가중치가 부여된 세 가지 손실을 함께 훈련시킵니다.
• 핵심 설계 선택 사항(예: 물체 자르기, 공동 훈련)의 영향을 평가하기 위해 탈락 분석을 구현합니다.
• 합성곱 레이어의 뉴런 활성화를 시각화하여 손-물체 구성, 물체 특성, 국소적 손 움직임과 같은 학습된 특징를 이해합니다.

실험 결과

연구 질문

• RQ1 통합된 딥 러닝 프레임워크가 첫 번째 시점 활동 인식을 위한 외관 및 운동 특징을 효과적으로 통합할 수 있는가?
• RQ2 행동, 물체 및 활동 인식을 공동으로 훈련할 경우 독립적 또는 계층적 훈련과 비교해 성능 향상은 어떻게 이루어지는가?
• RQ3 손 분할 및 물체 자르기는 에고센트릭 비디오에서 특징 학습에 얼마나 기여하는가?
• RQ4 네트워크 뉴런이 감지하는 시각적 특징 유형(예: 손 외관, 물체 특성, 운동 패턴)은 무엇인가?
• RQ5 행동 구분(예: 'put'과 'take')에 있어 운동 특징의 시간적 순서는 얼마나 중요한가?

주요 결과

• 제안된 트윈 스트림 CNN은 시선 정보를 사용하지 않고도 벤치마크 에고센트릭 행동 데이터셋에서 최신 기술 대비 평균 정확도를 6.6% 향상시킵니다.
• 다중 작업 학습을 통한 공동 훈련은 단일 작업 기반 베이스라인 대비 행동 인식 정확도를 30% 향상시키고, 물체 인식 정확도를 14% 향상시킵니다.
• 시각화 결과 네트워크가 손-물체 구성, 물체 특성 및 국소적 손 움직임을 감지하고, 전반적인 카메라 에고-운동을 억제하는 것을 확인할 수 있습니다.
• 네트워크는 자동으로 운동 유형(예: 손 움직임 대비 카메라 움직임)을 구분하며, 행동 특유의 운동 패tern에 강하게 반응하는 뉴런을 학습합니다.
• 광학 흐름 순서를 뒤집으면 활성화가 약화되며, 이는 시간적 순서가 네트워크에 인코딩되어 있고 'put'과 'take'와 같은 행동을 구분하는 데 필수적임을 확인합니다.
• 자르기로 얻은 물체 영역을 통한 물체 국소화는 전체 모델 대비 성능의 9.6% 이내로 유지되며, 에고센트릭 환경에서 핵심 물체에 집중하는 것이 매우 중요함을 시사합니다.