[논문 리뷰] Human Action Forecasting by Learning Task Grammars

Tengda Han, Jue Wang외 2명|arXiv (Cornell University)|2017. 09. 19.

Human Pose and Action Recognition참고 문헌 19인용 수 12

한 줄 요약

이 논문은 다층 LSTM을 사용한 다중 시간 해상도 진행도 추정을 통해 시간적 작업 문법을 학습함으로써 순차적 작업에서 인간 행동을 예측하는 딥러닝 프레임워크를 제안한다. 진행도 추정을 위한 새로운 누적 유클리드 손실(CPLoss)을 도입함으로써, 기준 두 개의 스트림 모델 대비 벤치마크 데이터셋에서 행동 예측 정확도를 9% 이상 향상시켜, 복잡하고 장기적인 로봇 보조 작업에서 뛰어난 성능을 입증한다.

ABSTRACT

For effective human-robot interaction, it is important that a robotic assistant can forecast the next action a human will consider in a given task. Unfortunately, real-world tasks are often very long, complex, and repetitive; as a result forecasting is not trivial. In this paper, we propose a novel deep recurrent architecture that takes as input features from a two-stream Residual action recognition framework, and learns to estimate the progress of human activities from video sequences -- this surrogate progress estimation task implicitly learns a temporal task grammar with respect to which activities can be localized and forecasted. To learn the task grammar, we propose a stacked LSTM based multi-granularity progress estimation framework that uses a novel cumulative Euclidean loss as objective. To demonstrate the effectiveness of our proposed architecture, we showcase experiments on two challenging robotic assistive tasks, namely (i) assembling an Ikea table from its constituents, and (ii) changing the tires of a car. Our results demonstrate that learning task grammars offers highly discriminative cues improving the forecasting accuracy by more than 9% over the baseline two-stream forecasting model, while also outperforming other competitive schemes.

연구 동기 및 목표

• 인간-로봇 상호작용에서 흔히 발생하는 장기적이고 복잡하며 다양한 순차적 작업에서 인간 행동을 예측하는 데 도전한다.
• 마르코프 모델의 한계를 극복하여 전역적 맥락을 상실하고 반복적이거나 순서가 뒤바뀐 행동에 어려움을 겪는 문제를 해결한다.
• 비디오 시퀀스에서 진행도 추정을 통해 암묵적으로 전역적인 시간적 작업 문법을 학습함으로써 예측 정확도를 향상시킨다.
• 세부적이고 거시적인 시간적 진행도를 모두 포착할 수 있는 다중 해상도 순환 아키텍처를 개발하여 더 나은 국소화 및 예측 성능을 확보한다.
• 진행도 추정 오차를 진정한 값에 가까운 정도에 따라 가중하는 새로운 누적 유클리드 손실(CPLoss)을 제안하여 학습 안정성과 성능을 향상시킨다.

제안 방법

• 비디오 클립에서 국소 행동 표현을 추출하기 위해 두 개의 스트림 잔차 CNN의 특징을 활용한다.
• 시간 단위를 이산화하여 강건성을 확보하면서, 작업 내 행동 진행도를 추정하기 위해 다층 LSTM 네트워크를 활용한다.
• 짧은 행동과 긴 행동을 모두 포착하기 위해 다양한 시간 해상도(예: 5, 10, 20개 세그먼트)에서 진행도를 추정하는 다중 해상도 LSTM 프레임워크를 도입한다.
• 예측 진행도와 진정한 진행도의 누적합을 계산하고, 역전파를 통해 시간에 따라 유사도를 최소화하는 새로운 누적 유클리드 손실(CPLoss)을 제안한다.
• 두 개의 스트림 CNN에서 유도된 국소 행동 예측과 다중 해상도 LSTM에서 유도된 전역 진행도 추정을 통합하여 다음 행동을 예측한다.
• 더 긴 클립에서 무작위 서브시퀀스 샘플링을 통해 데이터 증강을 실시하면서, 전체 모델을 엔드 투 엔드로 역전파를 통해 시간에 따라 학습한다.

실험 결과

연구 질문

• RQ1 작업 내 시간적 진행도를 암묵적으로 학습함으로써 장기적이고 복잡한 시퀀스에서 행동 예측 성능을 향상시키는 전역 작업 문법을 포착할 수 있는가?
• RQ2 장기적인 인간 활동에서 단일 스케일 추정 대비 다중 해상도 진행도 추정이 예측 성능 향상에 기여하는가?
• RQ3 제안된 누적 유클리드 손실(CPLoss)은 행동 예측을 위한 진행도 추정 네트워크 학습에서 표준 교차 엔트로피 손실보다 우수한가?
• RQ4 전역 진행도 추정의 통합이 실제 로봇 보조 작업에서 국소 행동 예측 정확도를 얼마나 향상시키는가?
• RQ5 제안된 방법의 성능 향상 정도는 행동 복잡도와 시각적 변동성이 다른 데이터셋 간에 어떻게 달라지는가?

주요 결과

• CPLoss를 사용할 경우 IFA-Bench 데이터셋에서 행동 예측 정확도가 9.6% 향상되었고, IFA-Ground 데이터셋에서는 9.4% 향상되어 기준 두 개의 스트림 모델을 크게 능가했다.
• IFA-Bench 데이터셋에서 국소 및 전역 모델 통합을 통해 CPLoss를 사용할 경우 5.9% 향상되었고, 교차 엔트로피 손실을 사용할 경우 9.6% 향상되었다.
• 모든 시퀀스 길이(5, 10, 20 프레임)에서 LSTM 기반 진행도 추정 모델이 RNN, GRU 및 완전 연결(FC) 레이어를 모두 능가했으며, 특히 장기 시퀀스에서 가장 높은 성능를 보였다.
• 학습 서브시퀀스 길이를 늘릴수록 예측 정확도가 향상되었고, 진행도 창 크기를 줄이면(예: 10에서 20 세그먼트로) 성능 향상이 이루어졌지만, 세부 인식의 어려움이 증가했다.
• 다중 해상도 프레임워크(+5+10+20)는 단일 및 双중 해상도 설정을 항상 능가했으며, 계층적 시간 모델링의 유용성을 입증했다.
• Changing Tire 데이터셋에서 CPLoss를 사용할 경우 2.4% 향상되었으며, 이는 덜 복잡한 행동 시퀀스에서는 일관되지만 더 작은 성능 향상이 이루어지는 것을 시사한다.