[논문 리뷰] Action Completion: A Temporal Model for Moment Detection

Farnoosh Heidarivincheh, Majid Mirmehdi외 1명|arXiv (Cornell University)|2018. 05. 17.

Human Pose and Action Recognition참고 문헌 20인용 수 7

한 줄 요약

이 논문은 완료 시점 탐지에 대한 새로운 시간 모델을 제안한다. 이 모델은 완료 시점에 대한 프레임 수준의 투표를 생성하기 위해 병합 분류-회귀 순환 신경망을 사용한다. 순환 투표 기반으로 전완료 및 후완료 프레임의 기여를 통합함으로써, 3개 데이터셋의 16개 동작에 대해 1초 이내 완료 시점을 89% 정확도로 탐지한다.

ABSTRACT

We introduce completion moment detection for actions - the problem of locating the moment of completion, when the action's goal is confidently considered achieved. The paper proposes a joint classification-regression recurrent model that predicts completion from a given frame, and then integrates frame-level contributions to detect sequence-level completion moment. We introduce a recurrent voting node that predicts the frame's relative position of the completion moment by either classification or regression. The method is also capable of detecting incompletion. For example, the method is capable of detecting a missed ball-catch, as well as the moment at which the ball is safely caught. We test the method on 16 actions from three public datasets, covering sports as well as daily actions. Results show that when combining contributions from frames prior to the completion moment as well as frames post completion, the completion moment is detected within one second in 89% of all tested sequences.

연구 동기 및 목표

• 기존 방법이 행동의 목표가 달성되었는지 여부를 판단하지 못하는 행동 인식 분야의 격차를 해결하기 위해.
• 기존의 행동 시작/종료 경계와는 다름없이 행동의 목표가 확신 있게 완료된 정확한 순간을 정의하고 탐지하기 위해.
• 실패한 행동(예: 놓친 캐치)이나 성공한 행동(예: 성공한 캐치)을 포함해 완료 및 미완료 행동을 탐지할 수 있는 강력한 모델을 개발하기 위해.
• 스포츠와 일상 활동을 포함한 다양한 행동에 대해 모델을 평가하여 도메인 간 일반화 능력을 입증하기 위해.

제안 방법

• 행동 완료 시점에 대한 프레임 수준 예측을 생성하기 위해 영상 프레임을 처리하는 컨볼루션-순환 신경망(C-RNN)을 제안한다.
• 완료 시점의 상대적 위치를 예측하기 위해 분류 및 회귀 출력을 통합하는 순환 투표 노드를 도입한다.
• 프레임이 전완료, 후완료, 또는 완료 시점 근처인지 판단하기 위해 병합 분류-회귀 헤드를 사용한다.
• 시퀀스 수준의 투표 방식을 통해 프레임 수준의 투표를 시퀀스 전반에 걸쳐 누적하여 최종 완료 시점을 추론한다.
• 4가지 투표 전략을 활용한다: C-C(분류-분류), R-R(회귀-회귀), C-R(분류-회귀), R-C(회귀-분류)이며, C-R 전략이 가장 뛰어난 성능을 보였다.
• 학습 시퀀스에 실제 완료 시점이 레이블링된 것을 기반으로 지도 학습을 수행한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 행동의 목표가 달성된 순간을 정확히 탐지할 수 있는가, 단지 시작 또는 종료 시점만을 탐지하는가?
• RQ2 전완료 및 후완료 단계의 프레임 수준 예측을 통합하면 완료 시점 탐지 성능이 향상되는가?
• RQ3 제안된 순환 투표 기반 메커니즘이 단독 프레임 수준의 분류 또는 회귀보다 우수한가?
• RQ4 실패한 행동(예: 실패한 캐치)이나 성공한 행동(예: 성공한 캐치)을 모두 탐지할 수 있는가?
• RQ5 스포츠와 일상 활동을 포함한 다양한 행동에 대해 이 방법은 얼마나 일반화 가능한가?

주요 결과

• C-R 투표 전략은 모든 테스트 시퀀스에서 완료 시점을 1초 이내로 탐지하는 데 89.9%의 정확도를 달성했다.
• 완료된 시퀀스(총 1,196개)에서는 C-R 방법이 85.6%의 정확도를 기록했고, 미완료 시퀀스(총 362개)에서는 96.1%의 정확도를 달성했다.
• 완료된 시퀀스의 경우 상대적 편차(RD) 오차를 0.14로 줄였고, 미완료 시퀀스에서는 0.04로 낮추어 다른 투표 전략보다 뛰어난 성능을 보였다.
• 전완료 및 후완료 프레임의 프레임 수준 기여가 탐지 성능을 크게 향상시켜 시간적 맥락의 가치를 입증했다.
• 실패한 행동(예: 완전하지 않은 캐치)을 높은 정밀도로 탐지하여 실패 케이스에 대한 강건성을 입증했다.
• HMDB, UCF101, RGBD-AC 데이터셋의 16개 다양한 동작에 대한 결과는 이 방법이 도메인 및 행동 유형 간 일반화 능력을 확보하고 있음을 확인했다.