[논문 리뷰] A Hybrid Framework for Action Recognition in Low-Quality Video Sequences

Tej Singh, Dinesh Kumar Vishwakarma|arXiv (Cornell University)|2019. 03. 11.

Human Pose and Action Recognition참고 문헌 29인용 수 5

한 줄 요약

이 논문은 저해상도 영상 시퀀스에서 강건한 인간 행동 인식을 위한 하이브리드 프레임워크를 제안한다. 조명 향상을 위한 부분 영상 히스토GRAM 균형화와 특징 추출을 위한 k-키 포즈 실루엣을 결합한 방식이다. 이 방법은 Weizmann, KTH, Ballet Movement와 같은 열악한 조건의 데이터셋에서 기존 기법들보다 뛰어난 성능을 보이며, 저조도 조건에서도 높은 인식 정확도를 달성하면서 최신 기술 수준의 성능과도 견줄 만한 성능을 유지한다.

ABSTRACT

Vision-based activity recognition is essential for security, monitoring and surveillance applications. Further, real-time analysis having low-quality video and contain less information about surrounding due to poor illumination, and occlusions. Therefore, it needs a more robust and integrated model for low quality and night security operations. In this context, we proposed a hybrid model for illumination invariant human activity recognition based on sub-image histogram equalization enhancement and k-key pose human silhouettes. This feature vector gives good average recognition accuracy on three low exposure video sequences subset of original actions video datasets. Finally, the performance of the proposed approach is tested over three manually downgraded low qualities Weizmann action, KTH, and Ballet Movement dataset. This model outperformed on low exposure videos over existing technique and achieved comparable classification accuracy to similar state-of-the-art methods.

연구 동기 및 목표

• 저조도 및 가림 현상이 있는 저품질 영상 시퀀스에서 인간 행동 인식의 과제를 해결하기 위해.
• 실시간 감시 및 모니터링 응용 분야에 적합한 강건한 조명에 영향을 받지 않는 모델을 개발하기 위해.
• 영상 전처리 및 포즈 기반 실루엣을 통해 저조도 영상의 특징 표현을 향상시키기 위해.
• 기존 표준 행동 인식 데이터셋의 수동으로 열악하게 조정된 버전에서 성능을 평가하기 위해.
• 입력 품질이 열악함에도 불구하고 최신 기술 수준의 방법들과 경쟁 가능한 분류 정확도를 달성하기 위해.

제안 방법

• 저조도 영상 프레임의 대trast와 가시성을 향상시키기 위해 부분 영상 히스토GRAM 균형화를 적용하기 위해.
• 향상된 프레임에서 k-키 포즈 인간 실루엣을 추출하여 시간적 행동 패턴을 표현하기 위해.
• 기계 학습 모델을 사용하여 실루엣에서 특징 벡터를 구성하고 분류하기 위해.
• 영상 강화와 포즈 기반 표현을 융합한 하이브리드 접근 방식을 통해 강건성을 향상시키기 위해.
• Weizmann Action, KTH, Ballet Movement 세 가지 수동으로 열악하게 조정된 데이터셋에서 프레임워크를 테스트하기 위해.
• 기존 방법들과의 성능 비교를 위해 표준 평가 프로토콜을 사용하기 위해.

실험 결과

연구 질문

• RQ1 부분 영상 히스토GRAM 균형화가 저조도 영상 시퀀스에서 인식 정확도를 효과적으로 향상시키는가?
• RQ2 k-키 포즈 실루엣의 사용이 저품질 영상에서 특징 표현을 어떻게 향상시키는가?
• RQ3 하이브리드 프레임워크가 열악한 영상 데이터셋에서 기존 방법들을 능가하는가?
• RQ4 제안된 방법이 저품질 조건에서도 최신 기술 수준의 기법들과 비교해 얼마나 정확도를 유지하는가?
• RQ5 감시 시나리오에서 조도 변화와 가림 현상에 대해 이 프레임워크는 얼마나 강건한가?

주요 결과

• 제안된 프레임워크는 세 가지 저조도 영상 시퀀스 서브셋에서 기존 기법들보다 높은 평균 인식 정확도를 달성했다.
• Weizmann Action, KTH, Ballet Movement 데이터셋의 수동으로 열악하게 조정된 버전에서 베이스라인 접근 방식보다 성능이 뛰어났다.
• 입력 영상 품질이 심각하게 열악해져도 인식 정확도가 최신 기술 수준의 방법들과 유사하게 유지되었다.
• 부분 영상 히스토GRAM 균형화가 특징 추출에 대한 열악한 조명의 영향을 효과적으로 완화시켰다.
• k-키 포즈 실루엣 표현 방식은 저품질 조건에서도 안정적이고 구분력 있는 특징을 제공했다.
• 하이브리드 모델은 시각 정보가 제한된 실시간 감시 응용 분야에서 강건성을 입증했다.