[논문 리뷰] Beyond Gaussian Pyramid: Multi-skip Feature Stacking for Action Recognition

Zhenzhong Lan, Ming Lin외 3명|arXiv (Cornell University)|2014. 11. 24.

Human Pose and Action Recognition참고 문헌 8인용 수 21

한 줄 요약

이 논문은 다중 시간 간격을 가진 차등 필터에서 추출한 특징을 스택하여 고전적인 가우시안 피라미드 방법에서 손실되는 저주파수 동작 정보를 복구하는 새로운 특징 향상 기법인 멀티스킵 특징 스택(MIFS)을 제안한다. MIFS는 학습 능력을 기하급수적으로 향상시키고, 특징 행렬의 조건수와 분산을 감소시키며, Hollywood2, UCF101, UCF50 등의 행동 인식 벤치마크에서 최신 기술 수준의 성능을 달성한다. 또한 최소한의 정확도 손실로 특징 추출 속도를 높일 수 있다.

ABSTRACT

Most state-of-the-art action feature extractors involve differential operators, which act as highpass filters and tend to attenuate low frequency action information. This attenuation introduces bias to the resulting features and generates ill-conditioned feature matrices. The Gaussian Pyramid has been used as a feature enhancing technique that encodes scale-invariant characteristics into the feature space in an attempt to deal with this attenuation. However, at the core of the Gaussian Pyramid is a convolutional smoothing operation, which makes it incapable of generating new features at coarse scales. In order to address this problem, we propose a novel feature enhancing technique called Multi-skIp Feature Stacking (MIFS), which stacks features extracted using a family of differential filters parameterized with multiple time skips and encodes shift-invariance into the frequency space. MIFS compensates for information lost from using differential operators by recapturing information at coarse scales. This recaptured information allows us to match actions at different speeds and ranges of motion. We prove that MIFS enhances the learnability of differential-based features exponentially. The resulting feature matrices from MIFS have much smaller conditional numbers and variances than those from conventional methods. Experimental results show significantly improved performance on challenging action recognition and event detection tasks. Specifically, our method exceeds the state-of-the-arts on Hollywood2, UCF101 and UCF50 datasets and is comparable to state-of-the-arts on HMDB51 and Olympics Sports datasets. MIFS can also be used as a speedup strategy for feature extraction with minimal or no accuracy cost.

연구 동기 및 목표

• 차등 연산자가 행동 특징 추출 과정에서 유도하는 편향과 조건수가 나쁜 문제를 해결하여 저주파수 운동 정보의 감쇠를 방지하기 위해.
• 기존 가우시안 피라미드 방법이 컨volutional 스무딩으로 인해 굵은 스케일에서 새로운 특징을 생성할 수 없는 한계를 극복하기 위해.
• 확장 가능하고 보편적으로 적용 가능한 방법을 개발하여 특징의 학습 능력을 향상시키고, 다양한 속도로 동작하는 행동 간의 일치를 위해 주파수 도메인에서 이동 불변성을 달성하기 위해.
• 다양한 벤치마크에서 MIFS의 실증적 검증을 통해 최신 기술 수준의 방법들에 비해 뛰어난 성능과 계산 효율성을 입증하기 위해.

제안 방법

• MIFS는 다수의 시간 간격(예: 매 1번째, 2번째, 3번째 프레임)을 파라미터로 하는 차등 필터의 특징을 스택하여 다중 스케일 표현을 가능하게 한다.
• 다양한 시간 스케일의 특징을 조합함으로써 주파수 도메인에서 이동 불변성을 도입하여 운동 속도 변화에 대한 강건성을 향상시킨다.
• 이론적으로 MIFS가 조건수와 분산을 감소시켜 특징 행렬의 학습 능력을 기하급수적으로 향상시킨다는 것을 증명한다.
• 광학 흐름이나 궤적 기반 방법과 같은 어떤 차등 기반 특징 추출기와도 호환되며, 후처리 향상 레이어로 적용할 수 있다.
• 특징을 낮은 프레임 레이트(예: 매 2번째 또는 3번째 프레임)로 추출함으로써 계산 속도 향상을 가능하게 하여 처리 시간을 단축시키며 정확도 손실를 최소화한다.
• 선형 SVM의 최적 정규화 파rameter(C)를 선택하기 위해 교차 검증을 사용하고, 평균 평균 정밀도(MAP)를 사용하여 성능를 평가한다.

실험 결과

연구 질문

• RQ1 다중 스킵 특징 스택이 차등 연산자에 의해 손실된 저주파수 운동 정보를 복구하여 행동 인식의 강건성을 향상시킬 수 있는가?
• RQ2 기존의 단일 스케일 표현에 비해 MIFS가 특징 행렬의 조건수와 분산을 상당히 감소시키는가?
• RQ3 UCF101, Hollywood2, TRECVID MED와 같은 도전적인 행동 인식 및 이벤트 탐지 벤치마크에서 MIFS는 얼마나 향상된 성능을 보이는가?
• RQ4 MIFS는 정확도 손실 없이 특징 추출의 속도 향상 전략으로 사용될 수 있는가?
• RQ5 손실된 정보의 대부분을 복구하기 위해 추가로 몇 개의 스케일(시간 간격)이 더 필요한가, 그리고 계산 비용의 트레이드오프는 어떠한가?

주요 결과

• MIFS는 MEDTEST13 및 MEDTEST14 데이터셋에서 각각 약 2%의 평균 평균 정밀도(MAP) 향상을 기록하여 EK100에서 각각 36.3%와 29.0%의 MAP를 달성했다.
• UCF101 및 UCF50 데이터셋에서 MIFS는 최신 기술 수준의 성능를 초월하여 표준 행동 인식 벤치마크에서의 효과성을 입증했다.
• HMDB51 및 올림피아드 스포츠 데이터셋에서 MIFS는 최신 기술 수준의 방법들과 비교하여 유사한 성능를 기록하여 광범위한 적용 가능성을 보였다.
• 특징 행렬의 조건수와 분산을 상당히 감소시켜 학습 능력 향상의 이론적 이점을 확인했다.
• 단지 매 2번째 또는 3번째 프레임에서 추출한 특징만을 사용함으로써(즉, L=1 또는 L=2-0) 계산 비용을 줄였고, 단일 통과 방법 대비 정확도를 유지하거나 향상시켰다.
• 실험 결과, 하나 또는 두 개의 추가 스케일이 손실된 정보의 대부분을 복구하는 데 충분하며, 행동 대역폭에 따라 필요로 하는 스케일 수가 로그 스케일로 증가한다는 것을 확인했다.