[논문 리뷰] Modeling Spatio-Temporal Human Track Structure for Action Localization

Guilhem Chéron, Anton Osokin외 2명|arXiv (Cornell University)|2018. 06. 28.

Human Pose and Action Recognition참고 문헌 59인용 수 4

한 줄 요약

이 논문은 사람의 트랙에서 시간적 행동 구조를 모델링하기 위해 게이트형 순환 단위(GRUs)를 사용하는 순환 국소화 네트워크(RecLNet)를 제안한다. 이는 스팩트로템포럴 행동 국소화를 향상시킨다. 외관 및 옵티컬 플로우 특징을 이중 스트림 GRU를 통해 처리하고, 임계값 기반의 시간 필터링을 적용함으로써 RecLNet은 UCF101-24 및 DALY에서 최신 기술 수준(SOTA) 성능을 달성하며, 기준 CNN보다 시간 경계 검출 성능이 크게 향상된다.

ABSTRACT

This paper addresses spatio-temporal localization of human actions in video. In order to localize actions in time, we propose a recurrent localization network (RecLNet) designed to model the temporal structure of actions on the level of person tracks. Our model is trained to simultaneously recognize and localize action classes in time and is based on two layer gated recurrent units (GRU) applied separately to two streams, i.e. appearance and optical flow streams. When used together with state-of-the-art person detection and tracking, our model is shown to improve substantially spatio-temporal action localization in videos. The gain is shown to be mainly due to improved temporal localization. We evaluate our method on two recent datasets for spatio-temporal action localization, UCF101-24 and DALY, demonstrating a significant improvement of the state of the art.

연구 동기 및 목표

• 개별 사람 트랙 수준에서 행동의 시간적 구조를 모델링하여 스팩트로템포럴 행동 국소화를 향상시키는 것.
• 기존 방법들이 정밀한 시간 경계 검출에 약점을 보이며, 이로 인해 잘못된 양성 결과와 정확하지 않은 국소화가 발생하는 문제를 해결하는 것.
• 외관 및 운동 특징을 모두 활용하여 시간적으로 행동을 동시에 인식하고 국소화하는 순환 신경망을 개발하는 것.
• 기존 방법이 실패하는 경우에도 사람 트랙에 대한 순환 모델링이 시간 국소화 정확도를 크게 향상시킨다는 것을 보여주는 것.
• 최근 공간 검출 정확도 향상 기술과 상호보완적이며, 향후 공간 국소화 향상 여지가 있다는 것을 보여주는 것.

제안 방법

• RecLNet는 영상 시퀀스에서 사람 바운딩 박스에서 추출한 외관 및 옵티컬 플로우 특징을 처리하기 위해 이중 스트림 게이트형 순환 단위(GRUs)를 사용한다.
• 특징들은 Fast-RCNN을 통해 영역 제안에서 풀링되고, 각각 별도의 GRU 레이어에 입력되어 각 사람 트랙 내에서 장기적인 시간적 의존성을 모델링한다.
• GRU 출력에 임계값 설정 및 필터링 전략을 적용하여 정밀한 시간 경계를 갖는 최종 행동 검출 결과를 생성한다.
• 모델은 각 트랙 기반으로 행동 클래스를 동시에 인식하고 시간 간격을 국소화하기 위해 엔드 투 엔드로 훈련된다.
• 고점수 반응을 필터링하고 임계값을 적용하여 잘못된 양성 결과를 억제함으로써 시간 국소화가 최적화된다.
• 표준 벤치마크인 UCF101-24 및 DALY를 사용하여 평가되며, 결과는 CNN 기반 기준 모델 및 최신 기술 수준의 방법과 비교된다.

실험 결과

연구 질문

• RQ1 순환 네트워크를 사용해 사람 트랙에서 시간적 구조를 모델링하면 시간 행동 국소화 정확도가 향상되는가?
• RQ2 외관 및 옵티컬 플로우 스트림에 GRU를 적용하면 표준 CNN보다 행동 경계 검출 성능이 향상되는가?
• RQ3 스팩트로템포럴 국소화 성능 측면에서 제안된 RecLNet 방법은 최신 기술 수준의 접근 방식과 비교해 어떻게 성과를 내는가?
• RQ4 향상된 성능의 주요 원인이 공간 검출 정확도 향상이 아니라 시간 국소화 향상 때문인가?
• RQ5 최근 공간 검출 기술 향상과 결합하여 전체 성능을 더 향상시킬 수 있는가?

주요 결과

• RecLNet는 UCF101-24 데이터셋에서 최신 기술 수준의 성능을 달성하며, 이는 이전 방법들보다 스팩트로템포럴 행동 국소화에서 뚜렷한 승리를 거두었다.
• DALY 데이터셋에서는 RecLNet가 CNN RGB+OF 기준 모델보다 상당한 향상을 보였으며, 특히 시간 경계 국소화에서 두드러진 성능 향상이 있었다.
• 정성 분석 결과 RecLNet의 점수는 기준 모델보다 진짜 행동 경계와 더 잘 일치하는 것으로 나타났으며, 기준 모델은 종종 정확하지 않거나 노이즈가 많은 반응을 생성했다.
• qualitative 결과에서 고점수의 점선이 적게 나타나 잘못된 양성 결과가 줄어든 것으로 확인되어, 더 신뢰할 수 있는 검출이 이루어졌음을 시사한다.
• 기존 방법의 주요 약점으로 지적된 시간 국소화의 문제점을 RecLNet는 순환 모델링을 통해 효과적으로 보완하였다.
• 최근 공간 정밀도 향상 기술과 상호보완적이며, 향후 공간 검출 성능 향상과 RecLNet의 강력한 시간 모델링을 결합함으로써 향후 성능 향상이 가능할 것으로 보인다.