[논문 리뷰] Incremental Tube Construction for Human Action Detection

Harkirat Behl, Michael Sapienza외 4명|arXiv (Cornell University)|2017. 04. 05.

Human Pose and Action Recognition참고 문헌 32인용 수 12

한 줄 요약

이 논문은 실시간 인간 행동 검출을 위한 온라인, 인크리멘탈 알고리즘인 OJLA를 제안한다. OJLA는 단일 패assing을 통해 행동 레이블링, 시간적 국소화, 튜브 연관을 종합적으로 수행한다. 통합 비용 함수를 제안함으로써 OJLA는 뛰어난 온라인 연관 정확도와 빠른 처리 속도(1帧당 1.8ms)를 달성하여, 동시 행동이 존재하는 복잡한 트림되지 않은 영상에서 최신 기술보다 뛰어난 성능을 보인다.

ABSTRACT

Current state-of-the-art action detection systems are tailored for offline batch-processing applications. However, for online applications like human-robot interaction, current systems fall short, either because they only detect one action per video, or because they assume that the entire video is available ahead of time. In this work, we introduce a real-time and online joint-labelling and association algorithm for action detection that can incrementally construct space-time action tubes on the most challenging action videos in which different action categories occur concurrently. In contrast to previous methods, we solve the detection-window association and action labelling problems jointly in a single pass. We demonstrate superior online association accuracy and speed (2.2ms per frame) as compared to the current state-of-the-art offline systems. We further demonstrate that the entire action detection pipeline can easily be made to work effectively in real-time using our action tube construction algorithm.

연구 동기 및 목표

• 오프라인, 배치 처리에 의존하는 현재의 행동 검출 시스템의 한계를 해결하기 위해.
• 인간-로봇 상호작용과 같은 온라인 응용을 위한 실시간, 인크리멘탈 처리를 가능하게 하기 위해.
• 동일한 공간-시간 영역 내에서 서로 다른 레이블을 가진 겹치는 또는 충돌하는 행동 튜브를 제거하기 위해.
• 단일 통합 최적화 패assing을 통해 튜브 연관, 시간적 국소화, 행동 레이블링을 동시에 해결하기 위해.
• 다중 동시 행동 카테고리가 존재하는 복잡한 시나리오에서 정확도와 속도를 향상시키기 위해.

제안 방법

• 튜브 연관, 시간적 국소화, 행동 레이블링을 단일 패assing에서 종합적으로 최적화하는 새로운 비용 함수를 제안한다.
• 모든 시공간 영역에서 각 공간 영역에 최대 하나의 행동 레이블만 할당되는 시공간 표현을 사용하여, 레이블 간 충돌을 방지한다.
• 매 새로운 프레임이 도착할 때마다 즉각적으로 업데이트하는 인크리멘탈 업데이트 메커니즘을 구현하여 실시간 동작을 가능하게 한다.
• 튜브 구축을 안내하기 위해 이중 스트림 CNN의 프레임 수준 검출 점수를 활용한다.
• 행동 튜브에 대한 통합 최적화 문제로 공식화하여, 겹치지 않으며 인간 중심인 레이블이 일관된 튜브를 확보한다.
• 별도의 연관 및 레이블링 단계에서 발생하는 중복 계산을 피하기 위해 단일 패assing 추론 파이프라인을 도입한다.

실험 결과

연구 질문

• RQ1 온라인 행동 검출을 위해 행동 튜브 연관, 시간적 국소화, 레이블링을 단일 통합 최적화 패assing에서 효과적으로 해결할 수 있는가?
• RQ2 순차적 처리와 비교해 복합적인 온라인 환경에서 종합 최적화가 정확도와 속도에 어떤 영향을 미치는가?
• RQ3 시공간 영역당 단일 레이블 할당을 강제함으로써 레이블 모호성은 어느 정도 감소하고 튜브 일관성은 향상되는가?
• RQ4 제안된 방법은 동시 행동과 다중 행동 클래스가 존재하는 복잡한 영상에서도 높은 성능을 유지하는가?
• RQ5 다중 패assing 최신 기술 방법과 비교해 단일 패assing 접근 방식은 속도와 정확도에서 어떤가?

주요 결과

• OJLA는 1.8ms/프레임의 추론 속도를 달성하여 이전의 온라인 방법들(예: 300–400fps)보다 뚜렷이 빠르며, 실시간 처리를 가능하게 한다.
• LIRIS-HARL와 같은 도전적인 데이터셋에서 최신 기술의 오프라인 및 온라인 시스템과 비교해 뛰어난 온라인 연관 정확도를 보였다.
• UCF-101과 JHMDB-21에서는 시공간 영역당 하나의 행동만 존재하는 경우 OJLA가 충돌하는 레이블이 있는 겹치는 튜브를 방지하여 정성적 일관성을 향상시켰다.
• 한 사람당 다중 행동이 존재하는 상황에서는 OJLA가 겹치지 않으며 다중 레이블이 할당된 튜브를 생성하여 동시 행동 검출이 가능하다.
• 단일 패assing 공식화로 인해 계산의 부여를 줄여 UCF-101에서 550fps의 연결 속도를 달성했으며, 이는 이전 방법의 300–400fps보다 빠른 속도이다.
• 간단한 데이터셋(UCF-101, JHMDB-21)에서는 다중 레이블 사용 시 더 높은 mAP를 기록했지만, OJLA의 단일 레이블 접근 방식은 겹치는 행동이 존재하는 복잡한 실제 세계 시나리오에 더 잘 일반화된다.