[논문 리뷰] Action Recognition by Hierarchical Mid-level Action Elements

Tian Lan, Yuke Zhu외 2명|arXiv (Cornell University)|2015. 08. 31.

Human Pose and Action Recognition참고 문헌 39인용 수 14

한 줄 요약

이 논문은 시간적 애너테이션 없이 비트림 영상에서 분류 가능한 시공간 세그먼트를 자동으로 발견하는 약한 지도 학습 기반의 계층적 중위도 행동 요소(MAE) 표현을 제안한다. 공간적, 시간적, 계층적 관계를 포괄하는 구조적 모델을 통해 행동과 MAE 레이블을 동시에 추론함으로써, 행동 인식 및 행동 파싱 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Realistic videos of human actions exhibit rich spatiotemporal structures at multiple levels of granularity: an action can always be decomposed into multiple finer-grained elements in both space and time. To capture this intuition, we propose to represent videos by a hierarchy of mid-level action elements (MAEs), where each MAE corresponds to an action-related spatiotemporal segment in the video. We introduce an unsupervised method to generate this representation from videos. Our method is capable of distinguishing action-related segments from background segments and representing actions at multiple spatiotemporal resolutions. Given a set of spatiotemporal segments generated from the training data, we introduce a discriminative clustering algorithm that automatically discovers MAEs at multiple levels of granularity. We develop structured models that capture a rich set of spatial, temporal and hierarchical relations among the segments, where the action label and multiple levels of MAE labels are jointly inferred. The proposed model achieves state-of-the-art performance in multiple action recognition benchmarks. Moreover, we demonstrate the effectiveness of our model in real-world applications such as action recognition in large-scale untrimmed videos and action parsing.

연구 동기 및 목표

• 다양한 시공간 해상도에서 중위도 행동 요소(MAE)로 구성된 계층적 구조로 복잡한 인간 행동을 모델링하여 영상 내 복잡한 행동을 인식하고 파싱하는 데 도전한다.
• 사전 레이블링된 하위 행동 세그먼트나 시간 경계 정보가 필요 없이 데이터 기반으로 MAE를 자동으로 발견함으로써 이전 연구에서 요구된 전문가가 설정한 레이블에 의존하는 문제를 해결한다.
• 발견된 세그먼트 간의 공간적, 시간적, 계층적 관계를 인코딩하는 구조적 모델을 사용하여 행동 레이블과 다중 수준의 MAE 레이블을 동시에 추론한다.
• 표준 벤치마크, 특히 비트림 영상 시퀀스를 포함하여 행동 인식 및 행동 파싱에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 메서드는 약한 지도 학습 기반의 집적 클러스터링 절차를 사용하여 영상 클립에서 시공간 영역 제안(pool of spatiotemporal region proposals)을 생성함으로써 시작되며, 이는 분류 가능한 MAE를 탐색한다.
• 다중 수준의 해상도에서 MAE를 자동으로 발견하기 위해 분류 기반 클러스터링 알고리즘을 도입하여 행동 관련 세그먼트와 배경 세그먼트를 구분한다.
• 발견된 세그먼트 간의 공간적, 시간적, 계층적 의존성을 모델링함으로써 행동 레이블과 MAE 레이블을 동시에 추론하기 위한 구조적 모델을 개발한다.
• 학습 중에는 행동 수준의 레이블만 사용하므로 하위 행동에 대한 시간적 애너테이션이 필요 없이 약한 지도 학습이 가능하다.
• 모델은 입력 표현으로 IDTF(Inertial Difference Tensor Features)를 활용하며, 계층적 CRF 유사 구조를 사용한 구조적 예측을 통해 공동 추론을 수행한다.
• 하위 수준의 MAE를 조합하여 고수준 행동 패턴을 구성하는 계층적 구조를 수립하며, 훈련 데이터 내 빈도와 동시 발생 빈도 기반으로 자동으로 레이블을 생성한다.

실험 결과

연구 질문

• RQ1 시간적 애너테이션이 없는 비트림 영상에서 약한 지도 학습 기반으로 중위도 행동 요소(MAE)를 자동으로 발견할 수 있는가?
• RQ2 MAE의 계층적 표현이 다양한 시공간 해상도에서 행동 인식 및 파싱 성능을 향상시키는가?
• RQ3 행동 수준의 레이블만 제공되었을 때 모델이 복잡한 행동을 구성 요소인 MAE로 정확하게 국소화하고 파싱할 수 있는가?
• RQ4 자동으로 발견된 MAE, 특히 인간 중심이 아닌 세그먼트(예: 냉장고 움직임)가 행동 인식의 분류 능력에 어느 정도 기여하는가?

주요 결과

• 제안된 방법은 THUMOS 2015 행동 인식 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 20개 행동 클래스 중 10개에서 이전 방법을 능가하였다. 특히 내부 변동성이 높은 복잡한 행동인 Diving와 CleanAndJerk에서 두드러진 성능 향상을 보였다.
• MPI Cooking 데이터셋에서, 슬라이딩 윈도우 기반 베이스라인 대비 모든 오버랩 임계값에서 평균 정밀도(mAP)를 8.6% 향상시켰으며, PASCAL VOC 임계값(IoU > 0.5)에서 8.5% 향상되었다.
• 모델은 장시간 비트림 영상들을 MAE의 계층적 구조로 성공적으로 파싱하였으며, 시각화 결과 인간 중심 행동과 물체 관련 운동 세그먼트(예: 냉장고 열림)의 정확한 국소화를 보였다.
• 시간적 지도 학습 없이 IDTF 특징만을 사용하여도 경쟁적인 성능를 달성함으로써, 약한 지도 학습 기반의 MAE 발견의 효과성을 입증하였다.
• 계층적 구조는 다중 해상도 추론을 가능하게 하며, MAE는 세밀한 신체 운동에서부터 '스패oon 열기 - 향신료 뿌리기 - 스패oon 닫기'와 같은 고수준 행동 조합까지 다양하게 포함한다.