[논문 리뷰] Delving into 3D Action Anticipation from Streaming Videos

Hongsong Wang, Jiashi Feng|arXiv (Cornell University)|2019. 06. 15.

Human Pose and Action Recognition참고 문헌 47인용 수 5

한 줄 요약

이 논문은 스트리밍 영상에서 3D 행동 예측을 위한 새로운 다중 작업 학습 프레임워크를 제안한다. 보완적인 평가 지표, 최적화된 클립 길이 및 샘플링 전략, 그리고 전체 행동 표현과 클래스에 관계없는 레이블을 활용한 보조 지도 학습을 통한 성능 향상을 달성한다. 이는 철저히 설계된 다중 작업 손실을 통해 최신 기준 벤치마크에서 최고 성능을 기록한다.

ABSTRACT

Action anticipation, which aims to recognize the action with a partial observation, becomes increasingly popular due to a wide range of applications. In this paper, we investigate the problem of 3D action anticipation from streaming videos with the target of understanding best practices for solving this problem. We first introduce several complementary evaluation metrics and present a basic model based on frame-wise action classification. To achieve better performance, we then investigate two important factors, i.e., the length of the training clip and clip sampling method. We also explore multi-task learning strategies by incorporating auxiliary information from two aspects: the full action representation and the class-agnostic action label. Our comprehensive experiments uncover the best practices for 3D action anticipation, and accordingly we propose a novel method with a multi-task loss. The proposed method considerably outperforms the recent methods and exhibits the state-of-the-art performance on standard benchmarks.

연구 동기 및 목표

• 스트리밍 영상에서 3D 행동 예측을 위한 최적의 실천 방법을 종합적인 평가 지표를 통해 조사한다.
• 학습 클립 길이 및 클립 샘플링 방법의 영향을 분석하여 모델 성능을 향상시킨다.
• 전체 행동 표현과 클래스에 관계없는 행동 레이블을 보조 신호로 포함한 다중 작업 학습 전략을 탐색한다.
• 최신 기술의 접근 방식을 초월하는 성능을 달성하기 위해 전용 다중 작업 손실을 포함한 새로운 방법을 개발한다.

제안 방법

• 저자는 3D 행동 예측을 위한 기준 모델로 프레임 단위 행동 분류 모델을 도입한다.
• 학습 클립 길이 및 클립 샘플링 전략이 모델 성능에 미치는 영향을 체계적으로 평가한다.
• 두 가지 보조 지도 신호인 전체 행동 표현과 클래스에 관계없는 행동 레이블을 통합한 다중 작업 학습 프레임워크를 제안한다.
• 행동 예측과 보조 작업을 동시에 최적화하는 다중 작업 손실 함수를 적용한다.
• 모델 행동 평가를 더 포괄적으로 제공하기 위해 보완적인 평가 지표를 도입한다.
• 최종 모델은 표준 3D 행동 예측 벤치마크에서 성능 향상을 검증하기 위해 훈련 및 평가된다.

실험 결과

연구 질문

• RQ1 다양한 학습 클립 길이 및 샘플링 방법은 3D 행동 예측 성능에 어떤 영향을 미치는가?
• RQ2 보조 신호로 전체 행동 표현을 통합할 경우 행동 예측에 어떤 영향을 미치는가?
• RQ3 클래스에 관계없는 행동 레이블을 보조 작업으로 사용할 경우 예측 성능는 어떻게 향상되는가?
• RQ4 어떤 학습 전략과 손실 함수 조합이 표준 벤치마크에서 최고의 성능을 낼 수 있는가?

주요 결과

• 클립 길이 및 샘플링 전략 최적화는 3D 행동 예측 성능 향상에 뚜렷한 기여를 한다.
• 전체 행동 표현을 보조 작업으로 통합함으로써 모델의 일반화 능력과 행동 예측 능력이 향상된다.
• 클래스에 관계없는 행동 레이블을 보조 신호로 사용할 경우 예측 정확도가 추가로 향상된다.
• 특화된 다중 작업 손실을 포함한 제안된 다중 작업 학습 방법은 표준 벤치마크에서 최신 기술 성능을 달성한다.