[논문 리뷰] Feature Sampling Strategies for Action Recognition

Youjie Zhou, Hongkai Yu외 1명|arXiv (Cornell University)|2015. 01. 28.

Human Pose and Action Recognition참고 문헌 10인용 수 7

한 줄 요약

이 논문은 밀도 있는 궤적을 사용한 행동 인식을 위한 운동 인식 특징 샘플링 전략을 제안하며, 물체 제안 기법(EdgeBox 및 FusionEdgeBox)을 활용해 정보성 있는 특징을 선택적으로 샘플링한다. 이는 25% 적은 특징으로 최신 기술 수준(SOTA)의 정확도를 달성하며, 특징의 70%가 제거된 경우에도 경쟁력 있는 성능을 유지한다.

ABSTRACT

Although dense local spatial-temporal features with bag-of-features representation achieve state-of-the-art performance for action recognition, the huge feature number and feature size prevent current methods from scaling up to real size problems. In this work, we investigate different types of feature sampling strategies for action recognition, namely dense sampling, uniformly random sampling and selective sampling. We propose two effective selective sampling methods using object proposal techniques. Experiments conducted on a large video dataset show that we are able to achieve better average recognition accuracy using 25% less features, through one of proposed selective sampling methods, and even remain comparable accuracy while discarding 70% features.

연구 동기 및 목표

• 대규모 영상 행동 인식에서 밀도 있는 궤적 특징의 계산 및 저장 부담을 완화하기 위해.
• 선택적 샘플링이 시각적 주목도 지도 기반으로 수행될 경우 무작위 또는 균일 샘플링보다 성능이 뛰어나지 않는지 조사하기 위해.
• 눈의 추적 데이터에 의존하지 않고도 운동 관련 영역을 식별할 수 있는 데이터 기반 샘플링 전략을 개발하기 위해.
• 물체 제안과 운동 정보를 융합하여 행동 인식에서 특징 선택의 효율성을 향상시키는 방법의 효과를 평가하기 위해.

제안 방법

• 물체 제안 알고리즘인 EdgeBox와 새로운 운동 강화 버전인 FusionEdgeBox를 사용하여 선택적 샘플링 방법 두 가지를 제안하며, 특징 샘플링을 안내하는 주목도 지도를 생성한다.
• 물체 제안에서 유도된 주목도 지도를 구성하여 움직이는 사람과 같은 관심 영역에서의 밀도 있는 궤적 특징을 우선 샘플링한다.
• 표본 특징에 대해 주성분 분석(PCA) 차원 감소와 혼합 가우시안 모델(GMM) 코드북 학습을 통해 피셔 벡터 인코딩을 적용하여 압축된 표현을 구축한다.
• 최종 특징 벡터에 대해 일대다 분류를 위한 선형 서포트 벡터 머신(SVM)을 적용하여 행동 인식을 수행한다.
• 각 궤적에 대해 운동 경계 히스토GRAM(MBHx, MBHy)과 외관 기술자(HOG, HOF)를 통합하여 하나의 특징 벡터로 조합한다.
• 공간적 및 운동 기반 신호를 융합한 하이브리드 샘플링 전략을 적용하여 특징의 관련성 향상과 중복 감소를 도모한다.

실험 결과

연구 질문

• RQ1 물체 제안 기반 선택적 샘플링이 무작위 또는 밀도 있는 샘플링보다 행동 인식 정확도를 향상시킬 수 있는가?
• RQ2 물체 제안 생성 과정에 운동 정보를 통합하면 행동 인식을 위한 특징 샘플링 품질이 향상되는가?
• RQ3 특징을 선택적 샘플링을 통해 감소시킬 경우, 특징의 최대 70%를 제거한 상황에서도 인식 성능에 어떤 영향을 미치는가?
• RQ4 눈의 추적 데이터가 필요 없이 인간 중심의 특징을 추출할 수 있는 지도 기반 바탕의 샘플링 전략이 실제 애너테이션된 인간 자세 정보가 있는 샘플링 전략보다 성능이 뛰어나지 않는가?

주요 결과

• 제안된 FusionEdgeBox 기반 선택적 샘플링 방법은 원래 특징의 75%만 사용하여 J-HMDB에서 평균 65.91%의 정확도를 달성했으며, 전체 특징 세트(62.88%)보다 높은 정확도를 기록하고 메모리 사용량도 줄였다.
• 특징의 70%가 제거된 상황에서도 FusionEdgeBox 방법은 DT 특징에서 60.71%의 정확도를 유지했으며, 무작위 샘플링(59.90%)과 EdgeBox(58.51%)보다 뛰어난 성능을 보였다.
• iDT 특징의 경우, 저밀도 샘플링 비율에서 무작위 샘플링이 선택적 방법을 略로 뛰어넘는 경향이 있으나, 이는 iDT가 내재된 노이즈 감소 효과 때문이며, 선택적 샘플링 역시 상당한 특징 감소에도 불구하고 유사한 성능을 달성한다.
• 실제 인간 자세 애너테이션(ground-truth bounding box, GT)을 사용한 샘플링은 DT에서 전체 특징 세트보다 더 높은 정확도를 기록했으며, 인간 중심의 특징이 더 분류 능력이 뛰어나다는 것을 확인한다.
• DT 특징 평가에서 FusionEdgeBox 방법은 GT 기반 샘플링을 초월했으며, 인간 애너테이션 없이도 운동 인식 제안이 효과적으로 관심 영역을 식별할 수 있음을 입증한다.
• 기본 방법 대비 20~25% 적은 특징으로 최신 기술 수준의 성능을 달성했으며, 스택드 피셔 벡터와 같은 고도의 인코딩 기법을 사용한 방법들보다도 뛰어난 성능을 기록했다.