[논문 리뷰] Review of Action Recognition and Detection Methods

Soo Min Kang, Richard P. Wildes|arXiv (Cornell University)|2016. 10. 21.

Human Pose and Action Recognition참고 문헌 5인용 수 52

한 줄 요약

이 논문은 컴퓨터 시각 분야에서 제3자 시점 행동 인식 및 탐지 방법에 대한 종합적인 리뷰를 제공하며, 특징 추출, 인코딩, 분류 기법을 분석한다. 다양한 벤치마크 데이터셋을 바탕으로 최신 기법들을 평가하고, 실제 세계의 변동성에 대응하고 강건성을 향상시키는 데 있어 핵심 과제와 열린 문제를 규명한다.

ABSTRACT

In computer vision, action recognition refers to the act of classifying an action that is present in a given video and action detection involves locating actions of interest in space and/or time. Videos, which contain photometric information (e.g. RGB, intensity values) in a lattice structure, contain information that can assist in identifying the action that has been imaged. The process of action recognition and detection often begins with extracting useful features and encoding them to ensure that the features are specific to serve the task of action recognition and detection. Encoded features are then processed through a classifier to identify the action class and their spatial and/or temporal locations. In this report, a thorough review of various action recognition and detection algorithms in computer vision is provided by analyzing the two-step process of a typical action recognition and detection algorithm: (i) extraction and encoding of features, and (ii) classifying features into action classes. In efforts to ensure that computer vision-based algorithms reach the capabilities that humans have of identifying actions irrespective of various nuisance variables that may be present within the field of view, the state-of-the-art methods are reviewed and some remaining problems are addressed in the final chapter.

연구 동기 및 목표

• 행동 인식 및 탐지의 이단계 파이프라인인 특징 추출 및 인코딩, 그 다음 분류 과정을 체계적으로 분석하기 위해.
• 다양한 조건(정적 배경 대비 동적 배경, 실제 영상 등)을 가진 다양한 벤치마크 데이터셋에서 기존 알고리즘의 성능 및 한계를 평가하기 위해.
• 시야각, 조도, 가림 등 부정적 변수에 대한 강건성과 실제 세계 시나리오에서의 일반화 능력 향상의 필요성과 같은 지속적인 과제를 규명하기 위해.
• 딥 러닝 기반 모델과 제1자 시점 행동 인식과 같은 새로운 추세를 부각시키되, 주로 제3자 시점 행동 인식에 집중하기 위해.

제안 방법

• 표본 추출 방법(예: 균일 또는 밀도 있는 표본 추출)과 HOG, HOF, MBH 등의 기술자표현을 사용한 특징 추출 기법을 리뷰한다.
• 코드북 생성(예: K-means 군집화), 특징 할당(예: 히스토그램 기반), 정규화를 통한 풀링(예: VLAD, 피셔 벡터) 등을 포함한 인코딩 방법을 검토한다.
• 결정론적 분류기(예: SVM, k-NN)와 확률 모델(예: HMM, CRF)을 평가하며, 순서 모델링을 위한 시간적 상태공간 모델도 고려한다.
• 행동 제안 기법은 검색 공간을 줄이는 데 기여하며, 초과정점 기반 분할, 운동 신호, 또는 랙스 CRF를 사용하여 고행동성 영역을 생성한다.
• 이상 행동 탐지 및 행동 예측은 관련 작업으로 다루며, 정상성 모델링 기반 및 예측에서 인식으로의 신뢰도 기반 진행 방식을 사용한다.
• KTH, UCF101, HMDB51, ActivityNet, THUMOS 등의 데이터셋을 비교 분석하며, 평가 프로토콜의 차이점과 도전 과제를 강조한다.

실험 결과

연구 질문

• RQ1 다양한 특징 추출 및 인코딩 전략이 행동 인식 및 탐지 시스템의 성능에 어떤 영향을 미치는가?
• RQ2 배경의 동적 특성과 행동의 복잡성에 따라 변화하는 다양한 벤치마크 데이터셋 간의 성능 및 강건성의 핵심 차이점은 무엇인가?
• RQ3 현재 기법들이 시야각 변화, 가림, 혼잡한 환경 등 다양한 실제 세계 조건에서 얼마나 잘 일반화되는가?
• RQ4 정확성과 효율성 측면에서 딥 러닝 기반 모델은 전통적인 수작업 특징 기반 접근 방식보다 어떻게 비교되는가?
• RQ5 행동 인식 및 탐지에서 인간 수준의 강건성을 달성하기 위해 남아 있는 열린 문제들은 무엇인가?

주요 결과

• 수작업 특징 기반 기존 기법(예: iDT에 피셔 벡터 인코딩과 SVM를 적용한 것)은 KTH 및 UCF101와 같은 통제된 데이터셋에서 뛰어난 성능을 보였다.
• 딥 러닝 모델, 특히 이중 스트림 CNN은 ActivityNet 및 Sports-1M와 같은 대규모 데이터셋에서 전통적 방법을 크게 능가했다.
• 행동 제안 생성 기법은 고행동성 영역에 집중함으로써 계산 비용을 줄였고, 정확도를 유지하면서도 탐지 효율성을 향상시켰다.
• 정상성 모델링 기반 이상 행동 탐지 기법은 특히 감시 환경에서 예측 불가능한 행동을 식별하는 데 유망한 성과를 보였다.
• 행동 예측 모델은 행동이 점점 전개됨에 따라 신뢰도가 점진적으로 증가하는 경향을 보였으며, 안전이 중요한 응용 분야에서의 조기에 개입 가능성을 제공했다.
• 진전에도 불구하고, 동적 배경 처리, 장기적 시간적 의존성, 데이터셋 간 도메인 이동 문제 해결에 여전히 과제가 남아 있다.