[논문 리뷰] Revisiting spatio-temporal layouts for compositional action recognition

Gorjan Radevski, Marie‐Francine Moens외 1명|arXiv (Cornell University)|2021. 11. 02.

Human Pose and Action Recognition인용 수 8

한 줄 요약

이 논문은 객체 바운딩 박스의 구조적 구성—시공간 레이아웃—에 대한 다중 헤드 어텐션 메커니즘을 제안하여 외관에 의존하지 않는 행동 인식에 있어 강건성을 확보한다. 레이아웃 기반 모델이 조합적 및 소수 샘플 설정에서 잘 일반화됨을 보이며, 외관 모델(예: I3D)과 융합할 경우 액션 제너레이션과 같은 혼잡하고 비조합적인 데이터셋에서도 성능 향상이 뚜렷하다는 것을 입증한다.

ABSTRACT

Recognizing human actions is fundamentally a spatio-temporal reasoning problem, and should be, at least to some extent, invariant to the appearance of the human and the objects involved. Motivated by this hypothesis, in this work, we take an object-centric approach to action recognition. Multiple works have studied this setting before, yet it remains unclear (i) how well a carefully crafted, spatio-temporal layout-based method can recognize human actions, and (ii) how, and when, to fuse the information from layout and appearance-based models. The main focus of this paper is compositional/few-shot action recognition, where we advocate the usage of multi-head attention (proven to be effective for spatial reasoning) over spatio-temporal layouts, i.e., configurations of object bounding boxes. We evaluate different schemes to inject video appearance information to the system, and benchmark our approach on background cluttered action recognition. On the Something-Else and Action Genome datasets, we demonstrate (i) how to extend multi-head attention for spatio-temporal layout-based action recognition, (ii) how to improve the performance of appearance-based models by fusion with layout-based models, (iii) that even on non-compositional background-cluttered video datasets, a fusion between layout- and appearance-based models improves the performance.

연구 동기 및 목표

• 철저히 설계된 레이아웃 기반 방법이 조합적 및 소수 샘플 행동 인식에서 강력한 성능을 내는지 조사하기.
• 레이아웃 기반 모델과 외관 기반 모델 간 최적의 융합 전략을 도출하여 행동 인식 성능을 향상시키기.
• 배경이 혼잡하고 비조합적인 비디오 데이터셋에서 레이아웃 기반 추론의 강건성을 평가하기.
• 다중 헤드 어텐션이 외관 정보 없이도 객체 레이아웃에서 전역적인 시공간적 맥락을 효과적으로 포착할 수 있는지 평가하기.

제안 방법

• 비디오 프레임에 걸쳐서 객체 바운딩 박스의 시퀀스인 시공간 레이아웃에 다중 헤드 어텐션을 적용하며, 시각적 외관에 의존하지 않는다.
• 트랜스포머 기반 아키텍처를 활용하여 레이아웃 내 객체 간 장거리 의존성과 전역적 공간적 관계를 모델링한다.
• 레이아웃 및 외관 특징을 후기 연결 방식으로 융합하여 양쪽 브랜치의 고유한 강점을 유지한다.
• 레이아웃 모듈의 입력으로 사용하기 위해 객체 검출기(예: Faster R-CNN)를 활용한다.
• 조합적 및 비조합적 설정 모두에서 테스트하기 위해 세 개의 벤치마크(Something-Else, Action Genome)에서 훈련 및 평가를 수행한다.
• I3D를 외관 기반 백본으로 사용하고, 이를 레이아웃 기반 STLT 모델과 융합하여 mAP를 향상시킨다.

실험 결과

연구 질문

• RQ1 외관 정보 없이 다중 헤드 어텐션 모델이 시공간 레이아웃에서만 조합적 행동 인식에 얼마나 잘 성능을 내는가?
• RQ2 레이아웃 기반 및 외관 기반 모델을 융합할 때 행동 인식 성능 향상을 위해 최적의 융합 전략은 무엇인가?
• RQ3 레이아웃 기반 모델은 새로운 객체 카테고리로 일반화되어 소수 샘플 또는 조합적 설정에서 잘 작동하는가?
• RQ4 액션 제너레이션과 같은 비조합적이고 배경이 혼잡한 데이터셋에서 레이아웃 기반 추론이 성능 향상에 기여하는가?

주요 결과

• 액션 제너레이션 데이터셋에서 두 개의 객체 카테고리(사람, 물체)만 존재하는 조건에서 STLT 모델은 오라클 설정에서 19.9 mAP를 기록하며 I3D보다 3.0 mAP 향상되었다.
• 모든 38개의 객체 카테고리를 사용할 경우, STLT는 오라클 설정에서 60.6 mAP를 달성하며, 정답 시나리오 그래프를 사용하는 SGFB에 가까운 성능을 보였다.
• STLT를 I3D와 융합하면 오라클 설정에서 액션 제너레이션에서 I3D 단독 성능 대비 28.1 mAP 향상되었으며, LFB 및 SGFB를 모두 초월했다.
• 조금 더 실제 검출 성능을 반영하는 객체 검출 설정(비오라클)에서도, 38개의 카테고리를 모두 사용할 경우 I3D보다 5.0 mAP 향상되었으며, 검출 오류에 대한 강건성을 입증했다.
• 레이아웃 기반 모델은 새로운 객체 카테고리로 효과적으로 일반화되며, 강력한 소수 샘플 및 조합적 일반화 능력을 보였다.
• 레이아웃 및 외관 모델의 융합이 가장 효과적인 것은 양쪽 브랜치가 각각의 능력을 유지할 때이며, 상호 보완적 모델링의 중요성을 강조한다.