[논문 리뷰] RED: Reinforced Encoder-Decoder Networks for Action Anticipation

Jiyang Gao, Zhenheng Yang외 1명|arXiv (Cornell University)|2017. 07. 16.

Human Pose and Action Recognition참고 문헌 14인용 수 23

한 줄 요약

이 논문은 행동 예측을 위한 강화 학습 기반 인코더-디코더 네트워크인 RED를 제안한다. RED는 향후 시각적 특징의 시퀀스를 예측하기 위해 다수의 과거 프레임 표현을 활용한다. 순서 수준의 지도 학습과 강화 학습을 통합함으로써, 조기이고 정확한 예측에 보상을 주는 방식으로, RED는 TVSeries, THUMOS-14, TV-Human-Interaction 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Action anticipation aims to detect an action before it happens. Many real world applications in robotics and surveillance are related to this predictive capability. Current methods address this problem by first anticipating visual representations of future frames and then categorizing the anticipated representations to actions. However, anticipation is based on a single past frame's representation, which ignores the history trend. Besides, it can only anticipate a fixed future time. We propose a Reinforced Encoder-Decoder (RED) network for action anticipation. RED takes multiple history representations as input and learns to anticipate a sequence of future representations. One salient aspect of RED is that a reinforcement module is adopted to provide sequence-level supervision; the reward function is designed to encourage the system to make correct predictions as early as possible. We test RED on TVSeries, THUMOS-14 and TV-Human-Interaction datasets for action anticipation and achieve state-of-the-art performance on all datasets.

연구 동기 및 목표

• 기존의 단일 프레임 이력에 의존하고 고정된 시간 예측에 의존하는 행동 예측 방법의 한계를 해결하기 위해.
• 다양한 과거 시각적 표현을 통해 시간적 추세를 모델링하여 행동 예측 성능을 향상시키기 위해.
• 고정된 시간 예측이 아닌 연속적인 다단계 향후 표현 예측을 가능하게 하기 위해.
• 강화 학습을 통해 예측 시퀀스를 종합적으로 최적화하여 조기이고 정확한 예측을 장려하기 위해.
• 행동 예측 및 온라인 행동 탐지 모두에서 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• RED 네트워크는 과거 시각적 표현의 시퀀스를 입력으로 받아 향후 표현의 시퀀스를 출력하는 인코더-디코더 아키텍처를 사용한다.
• 인코더는 CNN 또는 이중 스트림 네트워크를 사용해 과거 시각적 특징의 이력을 처리하고, 디코더는 단계적으로 향후 표현을 생성한다.
• 순서 수준의 지도 학습을 제공하기 위해 강화 학습 모듈을 도입하였으며, 늦게 또는 잘못된 예측에 대해 벌점을 주고 조기로 올바르게 예측한 경우에 보상을 주는 보상 함수를 사용한다.
• 모델는 두 단계 과정으로 훈련된다: 먼저 행동 분류와 표현 예측을 위해 교차 엔트로피 손실과 평균 제곱 오차 손실을 사용하고, 이후 강화 학습 보상으로 미세 조정한다.
• 보상 함수는 전체 향후 시퀀스 동안 정확한 예측의 누적 수익을 최대화하도록 설계되어 있어, 조기이고 정확한 예측을 장려한다.
• 두 가지 유형의 시각적 특징을 사용한다: 이중 스트림 옵티컬 플로우 및 RGB 특징, VGG-16 특징으로, 성능과 견고성 평가를 위해 사용된다.

실험 결과

연구 질문

• RQ1 단일 프레임 이력 인코딩과 비교해 복수의 과거 프레임에서 시간적 추세를 모델링하면 행동 예측 성능이 향상되는가?
• RQ2 강화 학습을 통한 순서 수준 최적화는 기존의 그레디 최적화 방식보다 조기이고 정확한 행동 예측을 가능하게 하는가?
• RQ3 통합된 인코더-디코더 프레임워크는 단일 고정 시간 예측이 아닌 향후 표현의 시퀀스를 효과적으로 예측할 수 있는가?
• RQ4 제안된 RED 모델은 행동 예측 및 온라인 행동 탐지 설정 모두에서 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?
• RQ5 강화 학습 모듈이 다양한 데이터셋에서 일반화 능력과 조기 예측 능력을 얼마나 향상시키는가?

주요 결과

• TVSeries 데이터셋에서 RED는 이중 스트림 특징을 사용해 0.25초 예측 시간에 cAP 79.2%를 기록하며, 이는 이전 최신 기술 수준 방법들보다 크게 뛰어난 성능을 보였다.
• THUMOS-14에서 RED는 0.25초 예측 시간에 프레임 단위 mAP 45.3%를 달성하여, 이전 최고 성능 방법(MultiLSTM)을 4.0 포인트 초과해 뛰어넘었다.
• 강화 학습 모듈은 TVSeries 및 THUMOS-14 양쪽 모두에서 모든 예측 시간(0.25초에서 2.0초)에 걸쳐 일관되게 성능 향상을 보였으며, 순서 수준 최적화의 효과를 입증했다.
• 제거 실험 결과, RED 아키텍처에 강화 학습을 적용한 모델은 TVSeries에서 기준 인코더-디코더(ED) 모델 대비 최대 1.5% 향상된 cAP, THUMOS-14에서는 최대 1.5% 향상된 mAP를 기록했다.
• 결과는 다중 프레임 이력 인코딩과 순서 수준의 강화 학습 지도 학습의 조합이 예측 정확도와 시기성 모두를 크게 향상시킨다는 것을 시사한다.
• 온라인 행동 탐지(여기서 $T_a = 0$)에서의 성능 또한 최신 기술 수준이었으며, 다양한 예측 설정에 걸쳐 일반화 능력이 뛰어나다는 것을 확인했다.