[논문 리뷰] End-to-end Learning of Action Detection from Frame Glimpses in Videos

Serena Yeung, Olga Russakovsky외 2명|arXiv (Cornell University)|2015. 11. 22.

Human Pose and Action Recognition참고 문헌 45인용 수 38

한 줄 요약

이 논문은 REINFORCE를 사용해 언제 어디를 봐야 할지에 대한 정책을 학습함으로써, 선택적으로 프레임을 스캔하면서 비디오에서 시간적 행동 경계를 탐지할 수 있는 엔드 투 엔드 순환 강화학습 에이전트를 제안한다. THUMOS'14와 ActivityNet에서 2퍼센트 이하의 프레임만 관찰하면서도 최신 기술 수준(SOTA)의 행동 탐지 성능을 달성하여, 슬라이딩 윈도우 후처리가 필요 없는 직접적이고 효율적인 행동 경계 추론을 입증한다.

ABSTRACT

In this work we introduce a fully end-to-end approach for action detection in videos that learns to directly predict the temporal bounds of actions. Our intuition is that the process of detecting actions is naturally one of observation and refinement: observing moments in video, and refining hypotheses about when an action is occurring. Based on this insight, we formulate our model as a recurrent neural network-based agent that interacts with a video over time. The agent observes video frames and decides both where to look next and when to emit a prediction. Since backpropagation is not adequate in this non-differentiable setting, we use REINFORCE to learn the agent's decision policy. Our model achieves state-of-the-art results on the THUMOS'14 and ActivityNet datasets while observing only a fraction (2% or less) of the video frames.

연구 동기 및 목표

• 슬라이딩 윈도우 추론과 후처리에 의존하는 전통적 행동 탐지 방법의 비효율성과 간접적 모델링 문제를 해결하기 위해.
• 프레임 수준의 분류나 비최대 억제(NMS) 없이도 직접적인 엔드 투 엔드 학습을 통해 시간적 행동 경계를 학습하기 위해.
• 행동 탐지를 인간의 인지 방식을 모방하는 관찰과 개선의 순차적 과정으로 모델링하기 위해.
• 오직 소수의 프레임만 관찰하는 효율적인 프레임 스캔 정책을 학습시켜 계산 비용을 줄이기 위해.

제안 방법

• 모델은 시간에 따라 비디오와 상호작용하는 순환 신경망 기반 에이전트로, 다음으로 관찰할 프레임과 예측을 내보내는 시점을 결정한다.
• 스캔한 프레임에서 특징을 추출하기 위해 시각 인코더(VGGNet)를 사용하고, 은닉 상태를 기반으로 결정을 내리는 순환 정책 네트워크를 활용한다.
• 비차별 가능한 결정 과정에서 backpropagation가 적용되지 않기 때문에, 에이전트의 결정 정책은 REINFORCE, 즉 정책 기반 강화학습 방법을 사용해 훈련된다.
• 정확한 국소화를 장려하기 위해 형태화된 보상 함수를 설계하였으며, 실제값과 가까운 예측에는 고밀도 보상을 제공하고, IoU가 높을수록 더 높은 보상을 부여한다.
• 모델은 프레임 선택과 예측 내보내기의 공동 정책을 학습하여 관련이 없는 프레임을 건너뛰고, 이전 프레임을 다시 봄으로써 가설을 개선할 수 있다.
• 다양한 길이의 구조적 탐지 출력을 지원하기 위해, 비디오당 여러 개의 예측을 허용하고 동적 정지 기능을 제공한다.

실험 결과

연구 질문

• RQ1 슬라이딩 윈도우 추론에 의존하지 않고 선택적으로 프레임을 관찰함으로써, 엔드 투 엔드 에이전트가 비트림된 비디오에서 행동 경계를 탐지할 수 있는가?
• RQ2 REINFORCE 기반 정책 네트워크는 행동 탐지에 최적의 프레임 스캔 및 예측 전략을 학습하는 데 얼마나 효과적인가?
• RQ3 소수의 비디오 프레임만 관찰하면서도 이러한 모델이 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 복잡한 비디오에서 모호하거나 겹치는 행동 인스턴스를 어떻게 처리하는가?
• RQ5 1-pass 방법과 비교했을 때, 모델이 프레임을 다시 봐야 하는 능력이 국소화 정확도에 얼마나 기여하는가?

주요 결과

• THUMOS'14 데이터셋에서 모델은 최신 기술 수준의 mAP 36.7을 달성하였으며, 밀도 있는 궤적과 CNN 특징을 사용한 이전 방법들을 능가한다.
• ActivityNet 'Playing sports' 서브셋에서 mAP는 33.2에서 36.7로 향상되었으며, 21개 클래스 중 13개에서 유의미한 성능 향상을 보였다.
• 'Work, main job' 서브셋에서는 mAP가 31.1에서 39.9로 상승하여, 더 구분성이 낮고 미묘한 행동에 대해서도 강력한 성능을 보였다.
• 모델은 평균적으로 2퍼센트 이하의 프레임만 관찰하여 높은 계산 효율성을 입증하였다.
• 시각화 결과는 에이전트가 운동 왜곡이나 모호한 행동에 대해 프레임을 다시 봐야 하는 것을 학습하는 것으로 나타났으며, 이는 정확도 향상에 기여한다.
• 약간 간격을 두고 연속으로 발생하는 행동 인스턴스(예: 점프)를 탐지하는 데 성공하였으며, 프레임 수준의 특징이 약하거나 흐릿한 경우에도 효과적으로 작동한다.