[논문 리뷰] Relational Action Forecasting

Chen Sun, Abhinav Shrivastava외 4명|arXiv (Cornell University)|2019. 04. 08.

Human Pose and Action Recognition참고 문헌 72인용 수 7

한 줄 요약

이 논문은 Faster R-CNN에서 유도된 액터 프포지션과 주의 기반 관계 학습을 갖춘 순환 그래프 구조를 사용하여 비디오 내 액터 간의 시간적 및 공간적 상호작용을 동시에 모델링하는 그래프 기반 모델인 Discriminative Relational Recurrent Network (DR²N)을 제안한다. 이는 관계에 대한 명시적 지도 학습 없이도 동적인, 특징적인 상호작용을 효과적으로 모델링함으로써 액션 예측에서 최신 기술 수준의 성능을 달성하며, J-HMDB에서 초기 액션 분류 시 60%의 정확도를 기록한다. 또한 AVA에서 미래 액션 예측 성능을 향상시킨다.

ABSTRACT

This paper focuses on multi-person action forecasting in videos. More precisely, given a history of H previous frames, the goal is to detect actors and to predict their future actions for the next T frames. Our approach jointly models temporal and spatial interactions among different actors by constructing a recurrent graph, using actor proposals obtained with Faster R-CNN as nodes. Our method learns to select a subset of discriminative relations without requiring explicit supervision, thus enabling us to tackle challenging visual data. We refer to our model as Discriminative Relational Recurrent Network (DRRN). Evaluation of action prediction on AVA demonstrates the effectiveness of our proposed method compared to simpler baselines. Furthermore, we significantly improve performance on the task of early action classification on J-HMDB, from the previous SOTA of 48% to 60%.

연구 동기 및 목표

• 과거 및 현재 프레임만을 사용하여 비디오 내 다수의 액터가 향후 수행할 고수준 액션을 예측하는 문제를 해결하기 위해.
• 관계에 대한 명시적 지도 학습 없이도 시간적 동적 변화와 공간적 상호작용을 동시에 모델링하기 위해.
• 단일 프레임에서 액터 정체성과 액션이 모호한 실세계의 노이즈가 많은 시각 데이터에서 액션 예측 성능을 향상시키기 위해.
• 자율 주행 시스템과 인간-로봇 상호작용과 같은 실용적 응용을 가능하게 하기 위해 시각적 역사에서 유의미한 미래 액션을 예측하기 위해.
• 액션 예측 및 초기 액션 분류 작업에서 기존 베이스라인을 초월하기 위해.

제안 방법

• 노드가 액터 프포지션(=Faster R-CNN에서 유도됨)을 나타내고, 간선이 액터 간 잠재적 상호작용을 나타내는 완전 연결 그래프를 구축한다.
• 학습 가능한 주의 가중치를 갖춘 수정된 그래프 주의 네트워크(GAT)를 사용하여 액터 간에서 특징적인 관계를 동적으로 선택함으로써 노이즈 또는 관련이 없는 상호작용을 무시할 수 있도록 한다.
• GRU 기반 순환 유닛을 통합하여 시간에 따른 액터 표현의 진화를 모델링함으로써 순차적 액션 패tern을 포착한다.
• 약한 지도 학습 방식으로 모델을 훈련함: 미래 시간 단계에서 액션 클래스의 진짜 레이블은 제공되지만, 간선 또는 관계 애너테이션은 사용되지 않는다.
• 액션 분류 성능을 극대화하면서도 관련 있는 상호작용 관계에 주의를 기울이는 데 초점을 맞춘 공동 최적화 목표를 활용한다.
• 공유된 특징 추출기와 작업별 헤드를 사용하여 두 작업에 적용: AVA에서의 다인원 액션 예측과 J-HMDB에서의 초기 액션 분류.

실험 결과

연구 질문

• RQ1 시각적 역사만을 사용하고 관계에 대한 명시적 지도 학습 없이도 그래프 기반 순환 모델이 다수의 액터가 향후 수행할 액션을 효과적으로 예측할 수 있는가?
• RQ2 액터 간 공간적 상호작용과 시간적 동적 변화가 별개로 모델링하는 것보다 함께 고려될 경우 미래 액션 예측 성능가 개선되는가?
• RQ3 약한 지도 학습 기반 관계 학습 메커니즘이 복잡하고 노이즈가 많은 비디오 환경에서 특징적인 액터 상호작용을 얼마나 잘 식별할 수 있는가?
• RQ4 제안된 DR²N 프레임워크가 액션 예측 및 초기 액션 분류 작업 모두에서 강력한 베이스라인을 초월하는가?
• RQ5 어떤 종류의 액션에서 관계 기반 모델링이 가장 큰 성능 향상을 가져오는가? 그리고 맥락적 또는 상호작용적 신호는 정확도에 어떤 역할을 하는가?

주요 결과

• J-HMDB에서 클립의 10%에 해당하는 초기 액션 분류 작업에서 DR²N은 60.6%의 정확도를 기록하여 이전 최신 기술 수준인 48%를 크게 상회한다.
• AVA 데이터셋에서 DR²N은 모든 예측 수평선(t=1에서 t=5까지)에서 모든 베이스라인을 압도하며 일관된 성능 향상을 보였다.
• 관계 기반 모델링이 핵심적인 단서를 제공하는 액션(예: 손뼉치기, 무술)과 맥락 의존적 액션(예: 먹기, 타기)에서 성능 향상이 가장 크게 나타났다.
• 제거 실험 결과, GRU 기반 시간 모델링은 정적 또는 단일 헤드 베이스라인보다 성능 향상을 보였고, 주의 기반 관계 학습(DR²N)은 균일한(RN) 및 표준 GAT보다 관계 선택에서 뛰어난 성능을 보였다.
• 주의 가중치의 시각화 결과 DR²N이 관련 있는 액터와 맥락적 물체(예: 말, 테이블)에 주의를 기울이는 것을 확인하여 효과적인 맥락적 추론 능력을 입증하였다.
• 모델는 t=0에서 높은 탐지 성능를 유지하면서도 향후 예측 성능가 뛰어나, 관계 및 시간 모델링이 국소화 정확도를 손상시키지 않는다는 것을 보여주었다.