[논문 리뷰] Transition Forests: Learning Discriminative Temporal Transitions for Action Recognition and Detection

Guillermo Garcia-Hernando, Tae‐Kyun Kim|arXiv (Cornell University)|2016. 07. 10.

Human Pose and Action Recognition참고 문헌 34인용 수 5

한 줄 요약

이 논문은 행동 인식 및 온라인 검출을 위해 프레임 쌍 간의 분류 가능한 정적 자세와 시간적 전이를 함께 학습하는 결합된 결정 트리인 트랜지션 포레스트(Transition Forests)를 제안한다. 트리 학습 중 쌍별 프레임 전이를 통합하고 추론 시 이전 예측을 활용함으로써, MSR-Action3D 및 OAD 데이터셋에서 최신 기술을 초월하는 성능을 달성하면서도 실시간 효율성을 유지한다.

ABSTRACT

A human action can be seen as transitions between one's body poses over time, where the transition depicts a temporal relation between two poses. Recognizing actions thus involves learning a classifier sensitive to these pose transitions as well as to static poses. In this paper, we introduce a novel method called transitions forests, an ensemble of decision trees that both learn to discriminate static poses and transitions between pairs of two independent frames. During training, node splitting is driven by alternating two criteria: the standard classification objective that maximizes the discrimination power in individual frames, and the proposed one in pairwise frame transitions. Growing the trees tends to group frames that have similar associated transitions and share same action label incorporating temporal information that was not available otherwise. Unlike conventional decision trees where the best split in a node is determined independently of other nodes, the transition forests try to find the best split of nodes jointly (within a layer) for incorporating distant node transitions. When inferring the class label of a new frame, it is passed down the trees and the prediction is made based on previous frame predictions and the current one in an efficient and online manner. We apply our method on varied skeleton action recognition and online detection datasets showing its suitability over several baselines and state-of-the-art approaches.

연구 동기 및 목표

• 기존의 결정 숲이 행동 인식을 위한 시간적 동역학을 모델링하는 데에 한계가 있음을 해결하기 위해.
• 정적 자세와 시간적 전이를 함께 학습하여 프레임 수준의 행동 예측의 강인성을 향상시키기 위해.
• 이전 예측을 추론 과정에 통합함으로써 실시간, 온라인 행동 검출을 가능하게 하기 위해.
• 트리 레이어 내에서 분류 및 전이 식별을 동시에 최적화하는 학습 절차를 개발하기 위해.
• 수동으로 설계된 특징 또는 순환 아키텍처에 의존하지 않으면서도 장거리 시간적 의존성을 포착하면서도 낮은 계산 복잡도를 유지하기 위해.

제안 방법

• 방법은 노드 분할 과정에서 프레임 분류 최적화와 쌍별 프레임 전이 식별 최적화를 번갈아가며 수행하는 랜덤 결정 트리의 앙상블을 사용한다.
• 트리 성장 과정은 각 레이어에서 유사한 전이와 레이블을 가진 프레임을 반복적으로 그룹화하여 장거리 시간적 의존성을 포착한다.
• 각 노드는 표준 분류 목표 또는 제안된 전이 기반 기준 중 하나를 무작위로 선택하여 정적 및 동적 특징의 공동 학습을 가능하게 한다.
• 추론 과정에서 이전 프레임 예측에 조건을 두어 온라인 방식으로 프레임 예측을 수행함으로써 실시간 처리를 가능하게 한다.
• 이 방법은 RJP(Relative Joint Position) 표현을 사용하며, 행동 시작/종료 검출에 대해 임계값 βs = 0.79 및 βe = 0.16를 적용한다.
• 프레임 수준 정확도와 전이 기반 식별을 균형 잡는 공동 목표를 통해 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 정적 자세와 시간적 전이의 공동 학습이 프레임 수준의 행동 인식 성능 향상에 기여하는가?
• RQ2 트리 학습 중 쌍별 프레임 전이를 통합함으로써 강인성과 일반화 능력에 어떤 영향을 미치는가?
• RQ3 결정 숲 기반 방법이 높은 정확도를 유지하면서 실시간 온라인 행동 검출을 달성할 수 있는가?
• RQ4 추론 과정에서 이전 예측을 포함함으로써 표준 온라인 방법에 비해 시간적 모델링이 향상되는가?
• RQ5 제안된 학습 절차가 기존 방법에 비해 장거리 시간적 동역학을 포착하는 데에 얼마나 효과적인가?

주요 결과

• 트랜지션 포레스트는 MSR-Action3D 데이터셋에서 평균 정확도 94.57%를 기록하여 모든 베이스라인 및 최신 기술인 JCR-RNN 방법을 능가했다.
• OAD 데이터셋에서 이 방법은 전체 F1 점수 0.712를 기록하여 모든 베이스라인 및 SOTA인 JCR-RNN 모델을 능가했다.
• 모델은 3200프레임 시퀀스당 평균 1.84초의 처리 시간을 유지하며 실시간 추론 성능를 확보했으며, RNN 기반 베이스라인보다 뚜렷하게 빠르게 작동했다.
• RF 및 PCRF 베이스라인에 비해 성능이 뛰어나 정적 및 전이 특징의 공동 학습의 효과를 입증했다.
• 이전 예측을 추론에 포함시킴으로써 특히 행동 경계를 고정밀도로 탐지하는 데에 강인성이 향상되었다.
• OAD 데이터셋에서 시작 프레임 및 종료 프레임 검출에 대해 각각 F1 점수 0.514 및 0.527을 기록하여 이전 방법들을 초월했다.