[논문 리뷰] Budget-Aware Activity Detection with A Recurrent Policy Network

Behrooz Mahasseni, Xiaodong Yang외 2명|arXiv (Cornell University)|2017. 11. 30.

Human Pose and Action Recognition참고 문헌 24인용 수 4

한 줄 요약

이 논문은 장시간의 트림되지 않은 영상에서 효율적인 시간 활동 탐지의 예산 인지형(end-to-end) 순환 정책 네트워크를 제안한다. 시간 제약 조건 하에서 전략적으로 프레임을 선택하며, 프레임 선택을 마코프 결정 과정(MDP)으로 공식화하고 정책 그래ient 최적화를 사용하여, ActivityNet에서 21.5의 mAP 성능을 달성하면서도 영상당 0.35초 내외로 처리하여 이전 방법들보다 수 개의 주기만큼 더 빠르며, 분해 없이 mAP를 직접 최적화한다.

ABSTRACT

In this paper, we address the challenging problem of efficient temporal activity detection in untrimmed long videos. While most recent work has focused and advanced the detection accuracy, the inference time can take seconds to minutes in processing each single video, which is too slow to be useful in real-world settings. This motivates the proposed budget-aware framework, which learns to perform activity detection by intelligently selecting a small subset of frames according to a specified time budget. We formulate this problem as a Markov decision process, and adopt a recurrent network to model the frame selection policy. We derive a recurrent policy gradient based approach to approximate the gradient of the non-decomposable and non-differentiable objective defined in our problem. In the extensive experiments, we achieve competitive detection accuracy, and more importantly, our approach is able to substantially reduce computation time and detect multiple activities with only 0.35s for each untrimmed long video.

연구 동기 및 목표

• 모든 프레임을 처리하는 데 시간이 몇 초에서 몇 분이 걸리는 기존의 시간 활동 탐지 방법의 비효율성을 해결하기 위해.
• 엄격한 시간 및 계산 예산 내에서 실시간, 디바이스 기반 영상 분석을 가능하게 하기 위해.
• 제안 단계와 분류 단계를 분리하지 않고, 동시에 프레임 선택과 탐지를 최적화하는 통합형, 엔드 투 엔드 프레임워크를 개발하기 위해.
• 표준 평가 기준인 비미분 가능한 mAP 지표를 직접 학습 목표에 최적화하기 위해.
• 모든 프레임을 처리하는 대신, 시간 예산 기반으로 가장 정보가 많은 프레임만 지능적으로 선택하여 계산 비용을 절감하기 위해.

제안 방법

• 각 단계에서 어떤 프레임을 추출하고 분석할지를 결정하는 정책이 있는 마코프 결정 과정(MDP)으로 프레임 선택을 공식화한다.
• 순환 정책 네트워크에 장기 기억망(LSTM)을 사용하여 프레임 선택을 위한 순차적 의사결정 과정을 모델링한다.
• 평균 평균 정밀도(mAP)를 기반으로 분해 불가능하고 비미분 가능한 목표 함수를 정의하여 최종 평가 지표를 직접 최적화한다.
• 강화 학습을 사용하여 mAP 목표 함수의 기울기를 근사하는 정책 그래ient 방법을 적용하여 엔드 투 엔드 학습을 가능하게 한다.
• 각 단계에서 정책은 국소적 프레임 근접 영역을 관찰하고, 세그먼트의 시작/종료 시간과 클래스를 예측하며, 다음으로 관찰할 프레임을 선택한다.
• CNN 기반의 프레임 특징 추출, 운동 신호(프레임 간 차이), 정책 추론을 하나의 효율적인 파이프라인으로 통합한다.

실험 결과

연구 질문

• RQ1 강화 학습 기반의 정책 네트워크가 시간 활동 탐지에서 높은 정확도를 유지하면서도 추론 시간을 효과적으로 줄일 수 있는가?
• RQ2 목표 함수로 mAP를 직접 최적화하는 것이, 대체 또는 분해 가능한 손실 함수와 비교해 어떻게 다른가?
• RQ3 엄격한 시간 예산 하에서 단일 통합 모델이 여러 활동 클래스를 엔드 투 엔드로 처리할 수 있는 정도는 어느 정도인가?
• RQ4 정책 단계 수(즉, 프레임 선택 수)가 다양한 시간 제약 조건 하에서 탐지 정확도에 어떤 영향을 미치는가?
• RQ5 대규모 데이터셋에서 제안된 방법이 슬라이딩 윈도우 및 이중 단계 접근 방식보다 속도-정확도 트레이드오프 측면에서 뛰어나게 성능을 냈는가?

주요 결과

• 제안된 방법은 α=0.5일 때 ActivityNet에서 21.5 mAP 성능을 달성하며, R-C3D 및 CDC와 같은 최신 기술들을 능가하지만, 영상당 추론 시간은 단 0.35초로 단축된다.
• 이전 방법들인 UTS16(930초 이상) 및 CDC(930초 이상)에 비해 계산 시간을 수 개의 주기만큼 감소시키며 경쟁적인 정확도를 유지한다.
• 정책 네트워크는 총 시간의 9.4%만 소비하여 높은 효율성을 보이며, 특징 추출이 총 시간의 80.1%를 차지하여, 프레임 선택의 중요성을 부각시킨다.
• THUMOS14에서 이 방법은 20개 클래스 중 15개에서 Yeung 등(2016)의 바이너리 견문 모델보다 뛰어나며, 전체 mAP는 5.3% 높게 기록한다. 이는 통합 다중 클래스 모델임에도 불구하고 높은 성능을 의미한다.
• 정책 단계를 6단계에서 30단계로 늘리면(시간은 0.35초에서 1.59초로 증가), α=0.5일 때 mAP가 2.0% 향상되어 추가 예산이 정확도 향상에 명확한 이점을 제공함을 보여준다.
• 이 방법은 최초로 목표 함수에 mAP를 직접 최적화하여 대체 손실을 피하고 최종 평가 지표와의 보다 우수한 일치를 이룬다.