[논문 리뷰] A Self-Adaptive Proposal Model for Temporal Action Detection based on Reinforcement Learning

Jingjia Huang, Nannan Li외 2명|arXiv (Cornell University)|2017. 06. 22.

Human Pose and Action Recognition참고 문헌 16인용 수 4

한 줄 요약

이 논문은 깊이 강화학습(DRL)을 사용하여 에이전트가 시간 창을 동적으로 조정함으로써 반복적으로 행동 제안을 개선하는 자기적응형 시간 행동 검출 모델을 제안한다. 시간 풀링과 회귀 보정을 갖춘 딥 Q-네트워크(DQN) 에이전트를 활용하여, 단일 영상당 평균 67개의 제안만으로 THUMOS 14에서 27.7%의 mAP를 달성하며, 기존 방법보다 훨씬 적은 제안 수를 사용함으로써 높은 효율성과 정확성을 입증한다.

ABSTRACT

Existing action detection algorithms usually generate action proposals through an extensive search over the video at multiple temporal scales, which brings about huge computational overhead and deviates from the human perception procedure. We argue that the process of detecting actions should be naturally one of observation and refinement: observe the current window and refine the span of attended window to cover true action regions. In this paper, we propose an active action proposal model that learns to find actions through continuously adjusting the temporal bounds in a self-adaptive way. The whole process can be deemed as an agent, which is firstly placed at a position in the video at random, adopts a sequence of transformations on the current attended region to discover actions according to a learned policy. We utilize reinforcement learning, especially the Deep Q-learning algorithm to learn the agent's decision policy. In addition, we use temporal pooling operation to extract more effective feature representation for the long temporal window, and design a regression network to adjust the position offsets between predicted results and the ground truth. Experiment results on THUMOS 2014 validate the effectiveness of the proposed approach, which can achieve competitive performance with current action detection algorithms via much fewer proposals.

연구 동기 및 목표

• 긴 트림되지 않은 영상에서 전통적인 슬라이딩 윈도우 기반 행동 제안 생성의 높은 계산 비용을 해결하기 위해.
• 행동 검출을 인간의 인지 방식을 모방하는 순차적 관찰 및 개선 과정으로 모델링하기 위해.
• 제안 수를 줄이면서도 검출 정확도를 유지하거나 향상시키기 위해.
• 행동을 효율적으로 탐지할 수 있도록 시간 창을 적응적으로 조정할 수 있는 강화학습 에이전트를 개발하기 위해.
• 개선된 특징 표현과 정밀한 국소화를 위해 시간 풀링과 회귀를 통합하기 위해.

제안 방법

• 에이전트는 행동 제안을 개선하기 위한 정책을 학습하기 위해 딥 Q-네트워크(DQN)를 사용하며, 시간 창의 경계를 조정하기 위한 동작(예: 확장, 축소, 점프)을 선택한다.
• 에이전트는 영상 내에서 무작위 시간 창으로 시작하여, DQN의 정책에 따라 반복적으로 경계를 조정함으로써 진정한 행동 구간에 수렴한다.
• 장기간의 영상 세그먼트에서 강력한 특징을 추출하기 위해 시간 풀링을 적용하여 장거리 맥락 정보를 향상시킨다.
• 예측된 제안 경계를 보정하기 위해 회귀 네트워크를 사용하여 예측값과 진짜값 간의 오프셋 오차를 줄인다.
• 비정보적 영역에서 갇히는 것을 방지하고 局부 최적값에서 벗어나기 위해 '점프' 동작을 도입한다.
• 예측값과 진짜값 간의 IoU를 기반으로 조밀한 리워드를 제공하는 강화학습을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 강화학습 에이전트가 체계적이고 적응적인 개선 과정을 통해 전수 슬라이딩 윈도우 방식이 아닌 고품질의 행동 제안을 학습할 수 있는가?
• RQ2 시간 풀링의 통합이 행동 검출에서 장시간 지속되는 영상 세그먼트의 특징 표현에 어떻게 기여하는가?
• RQ3 DQN 기반 엔드 투 엔드 훈련을 통해 제안 수를 얼마나 줄일 수 있으며, 검출 성능은 유지되는가?
• RQ4 회귀 헤드의 추가가 자기적응형 제안 생성 과정에서 국소화 정확도를 어떻게 향상시키는가?
• RQ5 성분 제거 실험(예: 시간 풀링, 회귀)이 전체 검출 성능에 미치는 영향은 어떠한가?

주요 결과

• 제안된 모델은 영상당 평균 67개의 제안만으로 THUMOS 14 데이터셋에서 27.7%의 mAP를 달성하며, 더 높은 제안 수를 사용하는 기존 방법들을 능가한다.
• 제거 실험 결과, 시간 풀링을 제거하면 성능이 떨어지며, 이는 장거리 맥락을 포착하는 데서의 중요성을 시사한다.
• 회귀 헤드는 검출 정확도를 크게 향상시키며, 회귀 헤드가 있는 모델이 없는 경우보다 더 높은 mAP를 기록한다.
• Ours-POOLING는 낮은 제안 수에서 높은 리콜을 보였지만, 전체 모델(Ours)은 더 적은 오분류를 기록하여 가장 높은 mAP를 달성한다.
• 모델은 Tesla K80에서 50.4 FPS로 실행되어, 적응적 탐색 과정임에도 불구하고 뛰어난 계산 효율성을 보여준다.