[논문 리뷰] ReHAR: Robust and Efficient Human Activity Recognition

Xin Li, Mooi Choo Chuah|arXiv (Cornell University)|2018. 02. 27.

Human Pose and Action Recognition참고 문헌 33인용 수 7

한 줄 요약

ReHAR는 단일 프레임 표현 모델과 LSTM을 통해 영상 프레임과 옵티컬 플로우 이미지를 통합하는 강력하고 효율적인 인간 활동 인식 프레임워크입니다. 엔드 투 엔드 학습을 통해 단일 인물 및 그룹 활동 데이터셋에서 최신 기술 수준의 정확도를 달성하며, 이전 방법들보다 약 한 계단 빠르게 작동합니다.

ABSTRACT

Designing a scheme that can achieve a good performance in predicting single person activities and group activities is a challenging task. In this paper, we propose a novel robust and efficient human activity recognition scheme called ReHAR, which can be used to handle single person activities and group activities prediction. First, we generate an optical flow image for each video frame. Then, both video frames and their corresponding optical flow images are fed into a Single Frame Representation Model to generate representations. Finally, an LSTM is used to pre- dict the final activities based on the generated representations. The whole model is trained end-to-end to allow meaningful representations to be generated for the final activity recognition. We evaluate ReHAR using two well-known datasets: the NCAA Basketball Dataset and the UCFSports Action Dataset. The experimental results show that the pro- posed ReHAR achieves a higher activity recognition accuracy with an order of magnitude shorter computation time compared to the state-of-the-art methods.

연구 동기 및 목표

• 스포츠 영상에서의 그룹 활동을 포함한 복잡한 활동을 처리할 수 있는 인간 활동 인식 시스템을 설계하는 것.
• 기존 딥 러닝 방법들에 비해 계산 시간을 크게 줄이며 정확도를 향상시키는 것.
• 영상과 운동 표현 간의 의미 있는 특징 학습을 위한 엔드 투 엔드 학습을 가능하게 하는 것.
• 입력 프레임과 옵티컬 플로우 이미지에서 중요한 영역을 강조함으로써 시각적 해석 가능성 제공

제안 방법

• 운동 다이내믹스를 포착하기 위해 각 영상 프레임에 대해 옵티컬 플로우 이미지를 생성합니다.
• 원본 영상 프레임과 해당하는 옵티컬 플로우 이미지를 모두 단일 프레임 표현 모델에 입력하여 시공간적 특징을 추출합니다.
• 생성된 표현을 처리하기 위해 장기 단기 기억(LSTM) 네트워크를 사용하여 시간적 의존성을 모델링하고 최종 활동 레이블을 예측합니다.
• 전체 모델을 엔드 투 엔드로 학습시켜 활동 인식을 위한 특징 표현을 최적화합니다.
• 차원 감소와 일반화 성능 향상을 위해 전역 평균 풀링 레이어를 사용하였으며, 이는 추론 실험을 통해 확인되었습니다.
• 기울기 기반 시각화를 사용하여 클래스별 중요도 맵을 생성하여 모델의 주의 집중 영역과 입력 데이터의 핵심 영역을 강조합니다.

실험 결과

연구 질문

• RQ1 통합된 딥 러닝 프레임워크가 영상에서 단일 인물 및 그룹 활동을 효과적으로 인식할 수 있는가?
• RQ2 영상 프레임 단독 사용에 비해 옵티컬 플로우와 영상 프레임의 통합이 정확도 향상에 얼마나 기여하는가?
• RQ3 엔드 투 엔드 학습이 복잡한 활동 인식을 위한 특징 표현 품질을 얼마나 향상시키는가?
• RQ4 기존의 계층적 또는 엔드 투 엔드가 아닌 접근 방식에 비해 모델이 훨씬 빠른 추론 시간을 확보하면서도 높은 정확도를 달성할 수 있는가?
• RQ5 예측 과정에서 모델은 어떤 시각적 단서에 주목하며, 이는 인간이 핵심 행동을 인지하는 방식과 얼마나 일치하는가?

주요 결과

• ReHAR는 NCAA 농구 및 UCFSports Action 데이터셋 모두에서 최신 기술 수준의 방법들보다 높은 활동 인식 정확도를 달성합니다.
• 기존의 방법들에 비해 약 한 계단 빠르게 작동하여 실시간 응용에 적합합니다.
• 추론 실험 결과, 전역 풀링 레이어를 평탄화 레이어로 대체할 경우 mAP가 0.928에서 0.889로 감소함을 확인하여 전역 풀링의 성능 기여도를 입증합니다.
• 시각적 설명 결과, ReHAR는 배경 요소보다는 핵심 인물과 운동 패턴(예: 선수, 공, 골대)에 주목함을 확인할 수 있습니다.
• 예측 오류의 경우, 예를 들어 '걷기'를 '골프'로 잘못 예측할 때, 모델은 사람과 골프 클럽과 같은 맥락적으로 관련된 요소를 강조함으로써 높은 신뢰도 오류의 타당한 이유를 보여줍니다.
• 시각화 방법을 통해 두 개의 LSTM과 완전 연결 레이어를 거쳐 클래스별 중요도를 추적할 수 있었으며, 이는 모델 결정의 해석 가능성을 보장합니다.