[논문 리뷰] Towards a generative approach to activity recognition and segmentation.

Hilde Kuehne, T. Serre|arXiv (Cornell University)|2015. 09. 07.

Human Pose and Action Recognition참고 문헌 31인용 수 3

한 줄 요약

이 논문은 감소된 피셔 벡터(Fisher Vectors, FVs)와 구조적 시간 모델을 결합하여 영상 활동 인식 및 분할을 위한 엔드 투 엔드 생성 프레임워크를 제안한다. FVs의 생성적 성질이 가우시안 믹스처 모델(Gaussian Mixture Models, GMMs)과 함께 사용될 때 성능을 향상시키며, 요리 및 동물 행동 영상 등 대규모 데이터셋에서 복잡한 최신 기법들을 능가함을 입증한다.

ABSTRACT

As research on action recognition matures, the focus is gradually shifting away from categorizing manually-segmented clips into basic action units to parsing and understanding long action sequences that make up human daily activities. There is a long history of applying structured models for the analysis of temporal sequences. Yet, while they seem like an obvious choice for the recognition of human activities, they have not quite reached a level of maturity in vision which is comparable to that speech recognition. With the widespread availability of large video datasets, combined with recent progress in the development of compact feature representations, the time seems ripe to revisit structured generative approaches. We propose an end-to-end generative framework which uses reduced Fisher Vectors (FVs) in conjunction with structured temporal models for the segmentation and recognition of video sequences. It shows that the overall generative properties of FVs make them especially suitable for a combination with generative models like Gaussian Mixtures. The proposed approach is extensively evaluated on a variety of action recognition datasets ranging from human cooking activities to animal behavioral analysis. It shows that the architecture, despite its simplicity, it is able to outperform complex state-of-the-art approaches on all larger datasets.

연구 동기 및 목표

• 기본 행동 유닛 분류를 넘어서 긴 비세그먼트된 인간 행동 시퀀스를 이해하는 데 증가하는 필요성을 해결한다.
• 음성 인식에서처럼 컴퓨터 비전 분야에서는 아직 성숙하지 못한 구조적 생성 모델을 영상 분석에 재활성화한다.
• 대규모 영상 데이터셋과 압축된 특징 표현을 활용하여 행동 인식 및 분할 성능을 향상시킨다.
• 피셔 벡터(Fisher Vectors)의 생성적 성질이 가우시안 믹스처 모델(Gaussian Mixture Models)과 결합될 때 특히 효과적임을 입증한다.
• 복잡한 최신 기법들을 능가하는 단순한 엔드 투 엔드 아키텍처로 뛰어난 성능을 달성한다.

제안 방법

• 감소된 피셔 벡터(Reduced Fisher Vectors, FVs)를 생성적 성질을 유지하면서도 압축된, 분류에 효과적인 영상 특징으로 사용한다.
• 시간적 구조 모델, 예를 들어 은닉 마르코프 모델(Hidden Markov Models)이나 조건부 랜덤 필드(Conditional Random Fields)에 FVs를 통합하여 시퀀스 모델링을 수행한다.
• FV 특징의 분포를 모델링하기 위해 가우시안 믹스처 모델(Gaussian Mixture Models, GMMs)을 적용하여 생성적 성질을 활용해 인식 성능을 향상시킨다.
• 특징 표현과 시간적 구조 학습을 동시에 최적화하기 위해 전체 시스템을 엔드 투 엔드로 훈련한다.
• FV 인코딩을 통해 국소적 및 전반적인 영상 패턴을 포착하여 행동 지속 시간과 외관 변화에 대한 강건성을 향상시킨다.
• 상태 전이와 관측 가능성도 모델링함으로써 시간적 모델링을 통해 행동 분할과 인식을 동시에 수행한다.

실험 결과

연구 질문

• RQ1 감소된 FVs와 같은 압축되고 분류에 효과적인 표현과 함께 사용될 때, GMM과 같은 생성 모델이 영상 특징을 효과적으로 모델링할 수 있는가?
• RQ2 FV의 생성적 성질이 행동 인식 및 분할을 위한 구조적 시간 모델링에서 성능 향상에 기여하는가?
• RQ3 단순한 엔드 투 엔드 생성 프레임워크가 대규모 영상 데이터셋에서 복잡한 비생성적 최신 기법들을 능가할 수 있는가?
• RQ4 제안된 방법이 인간의 요리 활동과 동물 행동 분석을 포함한 다양한 행동 인식 과제에 얼마나 잘 일반화되는가?
• RQ5 감소된 FV가 정확한 행동 인식에 필요한 분류 능력을 유지하면서도 생성 모델과의 호환성을 유지하는 데 얼마나 효과적인가?

주요 결과

• 평가된 모든 대규모 데이터셋에서 제안된 프레임워크가 복잡한 최신 기법들을 능가하며, 더 뛰어난 일반화 성능을 보였다.
• 감소된 피셔 벡터는 그 생성적 성질 덕분에 시간 모델링에서 가우시안 믹스처 모델(GMMs)과 함께 사용될 때 성능 향상이 뚜렷했다.
• 단순한 엔드 투 엔드 생성 아키텍처임에도 불구하고 뛰어난 성능을 달성하여, 생성 모델링이 여전히 타당하고 효과적인 접근임을 시사한다.
• 인간의 일상 활동(예: 요리)과 동물 행동 분석을 포함한 다양한 도메인으로의 일반화 성능이 뛰어나다.
• FV와 구조적 모델의 통합은 긴 영상 시퀀스의 정확한 동시 분할 및 인식을 가능하게 한다.
• 더 큰 데이터셋에서 일관된 성능 향상이 나타나, 데이터 복잡성에 대한 확장성과 강건성을 보였다.