[논문 리뷰] Spatio-Temporal Action Detection with Cascade Proposal and Location Anticipation

Zhenheng Yang, Jiyang Gao외 1명|arXiv (Cornell University)|2017. 07. 31.

Human Pose and Action Recognition참고 문헌 19인용 수 15

한 줄 요약

이 논문은 비정형 영상에서 시공간 행동 검출을 위한 캐스케이드 제안 및 위치 예측(CPLA) 모델을 제안한다. 캐스케이드 RPN을 통해 제안 정확도를 향상시키고, 프레임 간 시공간 일관성을 활용하기 위해 위치 예측 네트워크(LAN)를 도입한다. 제안된 방법은 외관 및 운동 모델링의 통합과 점수 최대화를 통한 시간적 연결을 통해 UCF101-24에서 73.54%의 최고 성능 mAP, LIRIS-HARL에서 54.34%의 최고 성능 mAP를 달성하여 기존 방법보다 뚜렷한 성능 향상을 이룬다.

ABSTRACT

In this work, we address the problem of spatio-temporal action detection in temporally untrimmed videos. It is an important and challenging task as finding accurate human actions in both temporal and spatial space is important for analyzing large-scale video data. To tackle this problem, we propose a cascade proposal and location anticipation (CPLA) model for frame-level action detection. There are several salient points of our model: (1) a cascade region proposal network (casRPN) is adopted for action proposal generation and shows better localization accuracy compared with single region proposal network (RPN); (2) action spatio-temporal consistencies are exploited via a location anticipation network (LAN) and thus frame-level action detection is not conducted independently. Frame-level detections are then linked by solving an linking score maximization problem, and temporally trimmed into spatio-temporal action tubes. We demonstrate the effectiveness of our model on the challenging UCF101 and LIRIS-HARL datasets, both achieving state-of-the-art performance.

연구 동기 및 목표

• 시간과 공간 모두에서 정확한 국소화를 달성하기 위해 비정형 영상에서의 시공간 행동 검출을 향상시키는 것.
• 프레임 간 행동 위치의 시공간 일관성을 모델링하여 운동 추세를 활용해 검출 성능을 향상시키는 것.
• 특히 고 IoU 영역에서 성능이 뛰어난 단일 단계 RPN보다 우수한 성능을 보이는 캐스케이드 RPN을 사용해 영역 제안 품질을 향상시키는 것.
• 후기 융합이 아닌 특징 수준에서 외관 및 운동 특징을 효과적으로 융합하여 검출의 강인성을 향상시키는 것.
• 종합적인 시간적 연결 및 검출의 정렬을 통해 UCF101-24와 LIRIS-HARL 벤치마크에서 최고 성능을 달성하는 것.

제안 방법

• 두 단계의 RPN을 적용하여 더 정확한 행동 제안을 생성하는 캐스케이드 영역 제안 네트워크(casRPN)를 사용하여 고 IoU 영역에서의 낮은 재현율 문제를 감소시킨다.
• 프레임 t-K에서의 검출을 기반으로 프레임 t에서의 향후 행동 바운딩 박스를 예측하는 위치 예측 네트워크(LAN)를 도입하며, 간격 K가 떨어진 프레임 간의 운동 추세를 모델링한다.
• 외관 및 운동 특징을 추출하기 위해 RGB와 옵티컬 플로우의 두 스트림 네트워크를 활용하며, 특징 수준 융합을 위해 conv5 특징을 연결함(CPLA-conv5)으로 더 풍부한 표현을 확보한다.
• 프레임 수준의 검출을 검출 신뢰도와 공간 겹침(IoU)을 균형 잡는 링킹 점수 최대화 문제를 통해 시간적으로 연결하고, 이후 시공간 행동 튜브를 형성하기 위해 시간적 정렬을 수행한다.
• 링킹 과정에서 검출 점수와 IoU를 균형 잡기 위해 하이퍼파rameter β를 사용하며, β = 0.7일 때 최적의 성능을 보여 주어 분할 또는 ID 전환을 방지한다.
• 프레임워크는 UCF101-24와 LIRIS-HARL에서 평가되며, 예측 간격 K와 융합 전략에 대한 분석을 통해 설계 선택의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 고 IoU 영역에서 단일 단계 RPN보다 캐스케이드 RPN이 행동 제안 국소화 정확도를 향상시킬 수 있는가?
• RQ2 위치 예측 네트워크를 통해 행동 위치의 시공간 일관성을 모델링하면, 개별 프레임 수준의 검출 성능이 향상되는가?
• RQ3 미래 행동 위치를 예측하기 위한 최적의 예측 간격 K는 무엇이며, 이는 검출 mAP에 어떤 영향을 미치는가?
• RQ4 외관 및 운동 스트림의 특징 수준 융합이 두 스트림 검출 점수의 후기 융합보다 성능이 뛰어나게 되는가?
• RQ5 제안된 CPLA 프레임워크는 UCF101-24와 LIRIS-HARL와 같은 도전적인 벤치마크에서 최고 성능을 달성할 수 있는가?

주요 결과

• CPLA 모델은 시공간 IoU 임계값 0.2에서 UCF101-24에서 73.54%의 최고 성능 mAP를 달성하여 이전 최고 성능 방법(MR-TS R-CNN)보다 0.68% 높은 성능을 보였다.
• 더 도전적인 LIRIS-HARL 데이터셋에서 CPLA는 δ=0.2에서 mAP 54.34%를 기록하여 이전 최고 성능 방법(Saha et al.)의 49.10%보다 뚜렷한 성능 향상을 보였다.
• 최적의 예측 간격 K는 8로 확인되었으며, 이때 δ=0.2에서 73.54%의 mAP를 기록했다. K=2와 K=16는 각각 운동 정보 부족 또는 노이즈가 많은 시간적 신호로 인해 성능이 떨어졌다.
• 특징 수준 융합(CPLA-conv5)은 바운딩 박스 수준 융합(CPLA-bbox)보다 성능이 뛰어나며, δ=0.2에서 3.15%의 mAP 향상을 보여 외관 및 운동 특징의 조기 융합의 유용성을 확인했다.
• 아블레이션 연구를 통해 casRPN과 LAN 모두가 성능 향상에 기여하는 것으로 확인되었으며, casRPN은 제안 품질을 향상시키고 LAN은 시간적 일관성을 강화했다.
• 링킹 하이퍼파rameter β는 민감도가 높으며, β=0.7에서 벗어나면 분할 또는 ID 전환 현상이 발생하여 mAP가 감소한다.