[논문 리뷰] Concurrence-Aware Long Short-Term Sub-Memories for Person-Person Action Recognition

Xiangbo Shu|arXiv (Cornell University)|2017. 06. 03.

Human Pose and Action Recognition참고 문헌 38인용 수 10

한 줄 요약

이 논문은 두 상호작용하는 사람 간의 장기적 상호의존적 역학을 동시에 처리하는 두 개의 서브메모리 유닛과 공통메모리 세포를 통해 동시로 상호의존적인 운동 패턴을 선택적으로 통합하는, 새로운 LSTM 기반 아키텍처인 Co-LSTSM(Concurrence-Aware Long Short-Term Sub-Memories)을 제안한다. 이 방법은 BIT 데이터셋에서 이전의 LSTM 기반 방법보다 약 8% 향상된 성능을 기록하며, UT 데이터셋에서는 95.00%의 정확도를 달성하여 최신 기술 수준을 확립한다.

ABSTRACT

Recently, Long Short-Term Memory (LSTM) has become a popular choice to model individual dynamics for single-person action recognition due to its ability of modeling the temporal information in various ranges of dynamic contexts. However, existing RNN models only focus on capturing the temporal dynamics of the person-person interactions by naively combining the activity dynamics of individuals or modeling them as a whole. This neglects the inter-related dynamics of how person-person interactions change over time. To this end, we propose a novel Concurrence-Aware Long Short-Term Sub-Memories (Co-LSTSM) to model the long-term inter-related dynamics between two interacting people on the bounding boxes covering people. Specifically, for each frame, two sub-memory units store individual motion information, while a concurrent LSTM unit selectively integrates and stores inter-related motion information between interacting people from these two sub-memory units via a new co-memory cell. Experimental results on the BIT and UT datasets show the superiority of Co-LSTSM compared with the state-of-the-art methods.

연구 동기 및 목표

• 기존의 RNN 및 LSTM 모델이 사람-사람 행동 인식에서 두 상호작용하는 사람 간의 장기적 상호의존적 역학을 포착하는 데에 한계가 있음을 해결하기 위해.
• 독립적으로 또는 단일 단위로 간주하는 대신, 대칭적 또는 상호작용하는 운동 패턴과 같은 동시에 발생하는 상호의존적 운동 패턴을 모델링하기 위해.
• 공통메모리 세포를 갖춘 새로운 동시 LSTM 유닛을 통해 상호작용하는 운동 패턴의 시간적 종속성을 명시적으로 학습함으로써 정확도를 향상시키기 위해.
• 제안된 아키텍처가 행동 인식 및 조기 상호작용 예측 작업 모두에서 효과적인지 입증하기 위해.

제안 방법

• 모델은 각 비디오 프레임당 두 개의 서브메모리 유닛을 사용하여 상호작용하는 사람 주변의 경계상자에서 유도된 개별 운동 표현을 저장한다.
• 두 서브메모리 유닛에서 유도된 상호의존적 운동 정보를 선택적으로 통합하고 저장하는 새로운 공통메모리 세포 πₜ가 존재한다.
• 공동 LSTM 유닛은 개별 운동 특징이 아닌 상호의존적 운동 역학을 반영하는 공동 히든 표현을 출력한다.
• 순차적인 비디오 프레임을 거쳐 시간에 따라 상호의존적 역학의 진화를 반복적으로 모델링하기 위해 스택된 동시 LSTM 유닛을 사용한다.
• 표준 역전파를 사용하여 엔드 투 엔드로 학습되며, 공통메모리 세포는 관련 있는 상호작용 운동 패턴에 대한 선택적 주의를 가능하게 한다.
• 모델은 BIT 및 UT 데이터셋을 사용하여 행동 인식 및 조기 상호작용 예측 작업 모두에서 평가된다.

실험 결과

연구 질문

• RQ1 수정된 LSTM 아키텍처가 사람-사람 행동 인식에서 두 상호작용하는 사람 간의 장기적 상호의존적 운동 역학을 효과적으로 모델링할 수 있는가?
• RQ2 상호의존적 운동 특징을 선택적으로 통합하는 공통메모리 세포를 포함함으로써, 표준 LSTM 또는 개별 개인의 독립적 모델링 대비 성능 향상 정도는 어떠한가?
• RQ3 제한된 시간적 맥락이 주어졌을 때, 제안된 Co-LSTSM 모델이 상호작용을 얼마나 일찍 예측할 수 있는가?
• RQ4 대칭적(예: 악수) 및 비대칭적(예: 발차기 및 후퇴) 상호작용을 포함한 다양한 상호작용 유형에 대해 모델이 잘 일반화되는가?

주요 결과

• BIT 데이터셋에서 Co-LSTSM은 95.00%의 정확도를 기록하여 이전 최고 성능 방법보다 약 8% 포인트 높은 성능을 달성했다.
• UT 데이터셋에서 Co-LSTSM은 95.00%의 정확도를 기록하여 최고 성능를 기록한 방법(Zhang et al. [56])과 동일하며, 모든 LSTM 기반 기준 모델을 능가했다.
• 인간 상호작용 예측에서 Co-LSTSM은 관측 비율 0.6에서 가장 두드러진 성능 향상을 보였으며, 강력한 조기 예측 능력을 시사했다.
• 관측 비율 0.4에서 0.6 사이에서 정확도가 급격히 증가하여, 중간 단계 실행 동안 중요한 상호작용 역학을 포착함을 시사했다.
• 관측 비율 0.7에서 성능가 안정화되었으며, 이는 이 시점까지 충분한 상호의존적 운동 패턴이 포착되었음을 의미한다.
• 모든 관측 비율에서 상호작용 예측 작업에서 Co-LSTSM은 DBoW, SC, MSSC, MTSSVM, MMAPM, LRCN 및 SSTFL을 포함한 모든 비교 방법을 일관되게 능가했다.