[논문 리뷰] Detecting the Moment of Completion: Temporal Models for Localising Action Completion

Farnoosh Heidarivincheh, Majid Mirmehdi외 1명|arXiv (Cornell University)|2017. 10. 06.

Human Pose and Action Recognition참고 문헌 9인용 수 5

한 줄 요약

이 논문은 미세조정된 CNN 특징과 시간 모델(LSTM 및 HMM)을 사용하여 행동이 완료되는 정확한 순간을 국소화하기 위한 지도 학습 접근법을 제안한다. 이는 6개의 행동에 대해 지상 진실과 10 프레임 이내로 완료를 검출할 때 약 75%의 정확도를 달성하며, 불완전한 시퀀스에서 LSTM보다 PCA-HMM이 더 우수한 성능을 보인다.

ABSTRACT

Action completion detection is the problem of modelling the action's progression towards localising the moment of completion - when the action's goal is confidently considered achieved. In this work, we assess the ability of two temporal models, namely Hidden Markov Models (HMM) and Long-Short Term Memory (LSTM), to localise completion for six object interactions: switch, plug, open, pull, pick and drink. We use a supervised approach, where annotations of pre-completion and post-completion frames are available per action, and fine-tuned CNN features are used to train temporal models. Tested on the Action-Completion-2016 dataset, we detect completion within 10 frames of annotations for ~75% of completed action sequences using both temporal models. Results show that fine-tuned CNN features outperform hand-crafted features for localisation, and that observing incomplete instances is necessary when incomplete sequences are also present in the test set.

연구 동기 및 목표

• 운동 시작 또는 끝을 감지하는 것 외에 행동 목표가 달성되는 순간을 정확히 국소화함으로써 행동 인식 분야의 격차를 메우기 위해.
• 시각적 신호를 기반으로 프레임 수준에서 완료 이전 상태와 완료 이후 상태를 구분할 수 있는 방법을 개발하기 위해.
• LSTM 및 HMM와 같은 시간 모델이 미세조정된 CNN 특징을 사용하여 완료를 효과적으로 국소화할 수 있는지 평가하기 위해.
• 완전하지 않은 시퀀스를 학습에 포함시켜 완료 검출에서 잘못된 경고를 방지하기 위한 필요성을 조사하기 위해.

제안 방법

• 각 프레임에서의 시각적 변화를 나타내기 위해 미세조정된 합성곱 신경망(FT-CNN)에서 추출한 프레임 수준의 특징을 사용한다.
• 행동 진행 상황을 시간에 따라 모델링하기 위해 장단기 기억(LSTM)과 확률적 문맥 HMM(PCA-HMM)이라는 두 가지 시간 모델을 적용한다.
• 각 행동 시퀀스에 대해 완료 이전 및 완료 이후 프레임의 주석을 지도 신호로 사용하여 모델을 학습시킨다.
• 검출 시점 평가를 위한 지표를 사용하여 지상 진실과의 비교에서 조기 또는 지연된 검출에 대해 벌점을 적용한다.
• 미세조정된 CNN 특징과 수작업 특징 및 사전 학습된 특징 간의 성능을 비교한다.
• 완전한 시퀀스만으로 학습하고 완전하고 불완전한 시퀀스에서 테스트하여 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 LSTM 및 HMM과 같은 시간 모델이 시각적 특징을 사용하여 행동 완료 순간을 프레임 수준에서 효과적으로 국소화할 수 있는가?
• RQ2 미세조정된 CNN 특징이 수작업 특징 또는 사전 학습된 특징보다 완료 신호를 감지하는 데 얼마나 우수한가?
• RQ3 학습 데이터에 불완전한 시퀀스를 포함시키는 것이 불완전한 시퀀스에서의 검출 정확도 향상에 기여하는가?
• RQ4 LSTM와 PCA-HMM 중 어느 시간 모델이 완전한 시퀀스에서의 정확도를 유지하면서도 불완전한 시퀀스로의 일반화 능력이 더 뛰어나게 되는가?

주요 결과

• LSTM과 PCA-HMM는 Action-Completion-2016 데이터셋에서 완전한 행동 시퀀스의 약 75%에서 지상 진실과 10 프레임 이내로 완료를 검출한다.
• 미세조정된 CNN 특징은 미세한 환경 변화를 더 잘 포착하기 때문에 수작업 특징 및 사전 학습된 특징보다 완료 감지에서 뚜렷한 성능 향상을 보였다.
• PCA-HMM는 불완전한 시퀀스에서 F1 점수(90.6)가 LSTM(90.1)보다 높아 잘못된 경고에 대한 강건성이 더 뛰어나다는 것을 보여주었다.
• LSTM는 완전한 시퀀스에서 더 높은 재현율(92.7%)과 F1 점수(90.1%)를 기록하여 PCA-HMM(재현율 89.0%, F1 점수 90.6%)보다 더 높은 감지 민감도를 보였다.
• 완전한 시퀀스만으로 학습하는 것은 불완전한 시퀀스에서 잘못된 완료 검출을 유도한다—특히 스위치 및 음료 섭취 행동에서 두드러지게 나타나, 혼합된 학습 데이터의 필요성을 강조한다.
• 스위치 행동은 빛이 꺼지는 명확한 시각적 변화로 인해 가장 높은 검출 정확도를 보였고, 환경 변화가 미세한 열린 행동이 가장 낮은 성능을 보였다.