[논문 리뷰] Knowledge-Guided Recurrent Neural Network Learning for Task-Oriented Action Prediction

Liang Lin, Lili Huang외 3명|arXiv (Cornell University)|2017. 07. 15.

Human Pose and Action Recognition참고 문헌 14인용 수 4

한 줄 요약

이 논문은 시각적 장면에서 작업을 완료하기 위한 동작 시퀀스 예측 문제를 해결하기 위해 지식 유도형 순환 LSTM 네트워크를 제안한다. 시간적 And-Or 그래프(AOG)를 사용하여 합성 훈련 데이터를 생성하고, 주석이 달린 예시에 대한 의존도를 줄인다. 이 방법은 평균 92%의 시퀀스 정확도와 미리 보지 않은 관련 작업에서 73.05%의 정확도를 달성하여 강력한 일반화 능력과 높은 데이터 효율성을 입증한다.

ABSTRACT

This paper aims at task-oriented action prediction, i.e., predicting a sequence of actions towards accomplishing a specific task under a certain scene, which is a new problem in computer vision research. The main challenges lie in how to model task-specific knowledge and integrate it in the learning procedure. In this work, we propose to train a recurrent long-short term memory (LSTM) network for handling this problem, i.e., taking a scene image (including pre-located objects) and the specified task as input and recurrently predicting action sequences. However, training such a network usually requires large amounts of annotated samples for covering the semantic space (e.g., diverse action decomposition and ordering). To alleviate this issue, we introduce a temporal And-Or graph (AOG) for task description, which hierarchically represents a task into atomic actions. With this AOG representation, we can produce many valid samples (i.e., action sequences according with common sense) by training another auxiliary LSTM network with a small set of annotated samples. And these generated samples (i.e., task-oriented action sequences) effectively facilitate training the model for task-oriented action prediction. In the experiments, we create a new dataset containing diverse daily tasks and extensively evaluate the effectiveness of our approach.

연구 동기 및 목표

• 컴퓨터 비전 분야에서 다소 간과된 시각적 장면에서의 작업 완료를 위한 동작 시퀀스 예측 문제를 해결하기 위해.
• 훈련을 위한 대규모 주석이 달린 데이터셋에 대한 의존도를 줄이기 위해.
• 작업 특화 지식(예: 동작 계층 구조 및 대안)을 구조적 표현을 통해 딥 러닝 모델에 통합하기 위해.
• 추가 주석 없이도 새로운 관련 작업으로의 일반화를 가능하게 하기 위해.
• 일상 생활 시나리오에서의 작업 중심 동작 예측을 위한 벤치마크 데이터셋을 구축하기 위해.

제안 방법

• 두 단계 훈련 프레임워크: 먼저 작업의 And-Or 그래프(AOG) 표현에서 유효한 동작 시퀀스를 생성하기 위해 보조 AOG-LSTM을 훈련한다.
• AOG을 사용해 작업을 원자적 동작으로 계층적으로 모델링하며, 순차적 의존성은 and-노드로, 대안은 or-노드로 표현한다.
• AOG-LSTM을 사용해 AOG에서 합성 훈련 샘플(동작 시퀀스)을 생성함으로써 의미적으로 일관된 상태를 유지하면서 훈련 데이터를 크게 확장한다.
• 실제 주석이 달린 데이터와 AOG에 의해 생성된 합성 시퀀스를 모두 사용해 주요 Action-LSTM을 훈련함으로써 일반화 능력을 향상시킨다.
• 장면 이미지와 작업이 컨텍스트 벡터로 인코딩되고, 디코더가 단계적으로 동작 시퀀스를 생성하는 인코더-디코더 LSTM 아키텍처를 사용한다.
• 장기 기억을 모델링하기 위해 장기 기억 단위(LSTM)를 활용해 동작 시퀀스의 장거리 의존성을 개선함으로써 시간적 추론 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 제한된 주석이 달린 데이터로 작업 중심 동작 예측을 위한 신경망을 효과적으로 훈련시킬 수 있는가?
• RQ2 작업 특화 지식(예: 동작 계층 구조 및 대안)을 시퀀스 예측 모델에 체계적으로 인코딩하고 통합할 수 있는가?
• RQ3 구조화된 지식 표현(AOG)에서 생성된 합성 데이터가 모델 성능과 일반화 능력을 얼마나 향상시킬 수 있는가?
• RQ4 추가 주석 없이도 새로운 관련 작업으로의 일반화 능력이 얼마나 잘 유지되는가?
• RQ5 AOG를 통한 구조적 지식 통합이 동작 인식 및 시퀀스 정확도 측면에서 측정 가능한 향상 효과를 가져오는가?

주요 결과

• 제안된 모델은 원자적 동작 예측에서 평균 96.40%의 정확도를 달성하고, 관련 객체 예측에서는 91.50%의 정확도를 기록하여 기준 모델 대비 각각 2.9%, 3.3% 향상되었다.
• 완전한 동작 시퀀스 예측에서 평균 92%의 시퀀스 정확도를 달성했으며, 기준 모델 대비 평균 5.42% 향상되었다.
• AOG에 의해 생성된 합성 데이터 사용으로 성능 향상이 뚜렷하게 이루어졌다: AOG를 사용할 경우 특히 데이터가 적은 환경에서 시퀀스 정확도가著 증가했다.
• 미리 보지 않은 관련 작업(예: '디스펜서에서 물을 이용해 차를 만들기' 및 '볼을 사용해 물을 따르기')에서 AOG를 사용한 모델은 평균 73.05%의 시퀀스 정확도를 기록했으며, AOG 없이 학습한 모델보다 약 50% 높은 성능을 보였다.
• AOG의 선택 결정은 의미적으로 제약을 받고 있어 모호성이 적어 소수의 주석이 달린 샘플로도 AOG-LSTM을 효과적으로 훈련시킬 수 있었다.
• LSTM 기반의 Action-LSTM은 장기적 의존성을 더 잘 모델링할 수 있어 표준 RNN보다 뛰어난 성능을 보였다.