[논문 리뷰] The Best of Both Worlds: Combining Data-independent and Data-driven Approaches for Action Recognition

Zhenzhong Lan, Dezhong Yao외 3명|arXiv (Cornell University)|2015. 05. 17.

Human Pose and Action Recognition참고 문헌 31인용 수 6

한 줄 요약

이 논문은 데이터에 독립적인 수작업 특징(IDT)과 데이터 기반의 비지도 학습을 Stacked Convolutional Independent Subspace Analysis (ConvISA)를 통해 융합하는 하이브리드 접근법을 제안하여 영상 행동 인식 성능을 향상시킨다. IDT-트레이ector리 볼륨에서 국소 기술자(LOP 및 LOF)를 학습하고, 기존의 특징들과 훈련이 필요 없는 다중 클래스 재순서 정렬(MIR) 기법을 통해 통합함으로써, HMDB51, Hollywood2, UCF101에서 최신 기술 수준(SOTA)의 성능을 달성하였으며, HMDB51에서 평균 정확도 59.4%와 UCF101에서 88.0%를 기록하였다.

ABSTRACT

Motivated by the success of data-driven convolutional neural networks (CNNs) in object recognition on static images, researchers are working hard towards developing CNN equivalents for learning video features. However, learning video features globally has proven to be quite a challenge due to its high dimensionality, the lack of labelled data and the difficulty in processing large-scale video data. Therefore, we propose to leverage effective techniques from both data-driven and data-independent approaches to improve action recognition system. Our contribution is three-fold. First, we propose a two-stream Stacked Convolutional Independent Subspace Analysis (ConvISA) architecture to show that unsupervised learning methods can significantly boost the performance of traditional local features extracted from data-independent models. Second, we demonstrate that by learning on video volumes detected by Improved Dense Trajectory (IDT), we can seamlessly combine our novel local descriptors with hand-crafted descriptors. Thus we can utilize available feature enhancing techniques developed for hand-crafted descriptors. Finally, similar to multi-class classification framework in CNNs, we propose a training-free re-ranking technique that exploits the relationship among action classes to improve the overall performance. Our experimental results on four benchmark action recognition datasets show significantly improved performance.

연구 동기 및 목표

• 영상 학습에서 높은 차원성, 제한된 레이블 데이터, 계산 비용으로 인한 분류 가능한 영상 특징 학습의 과제를 해결한다.
• 순수하게 데이터 기반의 CNN이 영상 행동 인식에서 가지는 한계를, 소규모 국소 영상 볼륨에서 비지도 학습을 활용하여 극복한다.
• IDT에서 사용하는 전통적인 수작업 특징(예: HOG, HOF)을 데이터 기반 기술자로 대체하여 개선한다.
• 훈련이 필요 없는 다중 클래스 반복 재순서 정렬(MIR) 기법을 통해 클래스 간 관계를 활용하여 분류 성능을 향상시킨다.

제안 방법

• 개선된 밀도 트레이잭터리(IDT)에서 유도된 소규모 영상 볼륨에서 시각적 외형(LOP)과 운동(LOF) 기술자를 비지도 방식으로 학습할 수 있도록 이중 스트림 Stacked ConvISA 아키텍처를 제안한다.
• 전체 영상가 아니라 트레이잭터리에 따라 따라가는 영상 볼륨(픽셀 및 옵티컬 플로우)에서 기술자를 학습함으로써 차원 감소와 계산 비용 절감을 달성한다.
• 학습된 LOP 및 LOF 기술자를 기존의 수작업 특징(예: HOG, HOF)과 통합된 특징 표현 파이프라인에 통합한다.
• 클래스 간 관계를 모델링함으로써 추가 훈련 없이도 평균 평균 정밀도(MAP)를 향상시키는 다중 클래스 반복 재순서 정렬(MIR) 기법을 설계한다.
• MIR 결과와 원본 점수를 융합하는 단순한 순위 점수 융합 기법을 적용하여 최종 분류 정확도를 향상시킨다.
• 약한 지도 학습에서 흔히 발생하는 비용이 많이 들고 잘못된 레이블 할당 문제를 피하기 위해 대규모 영상 데이터에서 비지도 사전 훈련을 수행한다.

실험 결과

연구 질문

• RQ1 소규모 영상 볼륨에서 비지도 데이터 기반 학습이 IDT와 같은 전통적인 수작업 국소 영상 기술자 성능을 향상시킬 수 있는가?
• RQ2 데이터 기반 기술자(LOP/LOF)와 수작업 기술자를 융합했을 때, 기준 데이터셋에서 행동 인식 정확도에 어떤 영향을 미치는가?
• RQ3 훈련이 필요 없는 재순서 정렬 기법인 MIR이 클래스 간 관계를 효과적으로 활용하여 평균 평균 정밀도를 향상시킬 수 있는가?
• RQ4 비지도 특징 학습을 사용할 경우, 하나의 데이터셋(Hollywood2 등)에서 훈련된 모델이 다른 데이터셋(HMDB51 등)으로 일반화되는 정도는 어느 정도인가?
• RQ5 제안된 ConvISA 기반 기술자 학습 프레임워크에서 최적의 성능을 내는 하이퍼파라미터(예: 스트라이드, 수신 필드 크기, 기술자 차원)는 무엇인가?

주요 결과

• Stacked ConvISA를 통해 IDT-트레이잭터리 볼륨에서 학습된 LOP 및 LOF 기술자가 동일한 파이프라인 내에서 기존의 수작업 기술자(HOG/HOF)보다 뚜렷이 뛰어난 성능을 보였다.
• 이 방법은 HMDB51에서 59.4%의 평균 정확도, UCF101에서 88.0%의 정확도를 기록하여 테스트한 네 가지 기준 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하거나 초월하였다.
• 더 큰 공간적 및 시간적 스트라이드(예: 16 및 5)는 특징의 중복을 줄여 성능을 향상시키며, 최소한의 겹침으로 더 빠른 훈련 및 추론이 가능하다.
• 수신 필드 크기(16,5)가 성능과 계산 비용의 최적 균형을 이룹니다. 더 큰 수신 필드는 성능 향상에 기여하지 않았다.
• 기술자 차원 200이 정보 유지와 노이즈 감소 사이의 최적 균형을 이룹니다. 이는 이전 연구 결과와 일치합니다.
• Hollywood2에서 훈련된 모델는 HMDB51로의 일반화가 매우 우수하여 성능 저하가 오직 2%에 불과하며, 특히 도전적인 데이터셋에서 훈련된 경우 강력한 데이터셋 간 전이 가능성(transferability)을 보였다.