[논문 리뷰] Action Recognition with Coarse-to-Fine Deep Feature Integration and Asynchronous Fusion

Weiyao Lin, Yang Mi외 3명|arXiv (Cornell University)|2017. 11. 20.

Human Pose and Action Recognition참고 문헌 31인용 수 4

한 줄 요약

이 논문은 정확도를 향상시키기 위해 굵기에서 세밀함으로 향하는 딥 특징 통합과 이방성 융합을 사용하는 새로운 행동 인식 프레임워크를 제안한다. 다양한 행동 클래스의 해상도에서 특징을 학습하고, 시간적으로 다른 지점에서 스트림 별로 특징을 융합함으로써, IDT 특징의 후기 융합을 통해 UCF101(95.2%)과 HMDB51(72.6%)에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Action recognition is an important yet challenging task in computer vision. In this paper, we propose a novel deep-based framework for action recognition, which improves the recognition accuracy by: 1) deriving more precise features for representing actions, and 2) reducing the asynchrony between different information streams. We first introduce a coarse-to-fine network which extracts shared deep features at different action class granularities and progressively integrates them to obtain a more accurate feature representation for input actions. We further introduce an asynchronous fusion network. It fuses information from different streams by asynchronously integrating stream-wise features at different time points, hence better leveraging the complementary information in different streams. Experimental results on action recognition benchmarks demonstrate that our approach achieves the state-of-the-art performance.

연구 동기 및 목표

• 다양한 행동 클래스의 해상도에서 특징을 학습함으로써 보다 정밀한 특징을 얻어 행동 인식 정확도를 향상시키기 위해.
• 다중 스트림 네트워크에서 정보 스트림 간의 이방성 문제를 줄여 보완적인 시각적 및 운동적 특징을 더 효과적으로 활용하기 위해.
• 굵기에서 세밀함으로 향하는 특징 학습과 이방성 스트림 융합을 통합한 통합 프레임워크를 설계하여 분류 능력을 향상시키기 위해.
• 매우 깊은 네트워크나 추가 스트림에 의존하지 않고도 표준 벤치마크에서 최신 기술 수준의 성능를 달성하기 위해.

제안 방법

• 진행적으로 더 세밀한 행동 클래스 해상도에서 딥 특징을 추출하고 계층적으로 통합하여 특징 표현을 정교화하는 굵기에서 세밀함으로 향하는 네트워크를 도입한다.
• 입력에 따라 동적으로 행동 클래스 그룹을 정의함으로써 해상도를 설정하여, 내부 변동성이 큰 모호한 행동을 더 잘 구분할 수 있도록 한다.
• 다른 시간 지점에서 특징을 융합하는 이방성 융합 네트워크를 제안하여 시간적으로 오프셋된 패턴을 포착한다.
• 학습 가능한 시간적 오프셋 메커니즘을 활용하여 외관 스트림과 운동 스트림의 특징을 다른 순간에 정렬함으로써 보완 신호의 활용도를 극대화한다.
• 굵기에서 세밀함으로 향하는 특징 학습과 이방성 융합을 종합적으로 통합한 엔드 투 엔드 학습 가능한 프레임워크를 구성한다.
• 백본 네트워크로 VGG-16을 사용하고 수동으로 생성된 IDT 특징과 후기 융합을 적용하여 성능을 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 다양한 행동 클래스 해상도에서 특징을 학습하는 것이, 미세한 차이가 있는 모호한 행동에 대해 분류 성능 향상에 기여할 수 있는가?
• RQ2 외관 스트림와 운동 스트림 간의 시간적 이방성은 행동 인식 성능에 어떤 영향을 미치며, 이를 효과적으로 모델링할 수 있는가?
• RQ3 다중 스트림 특징의 이방성 융합이 동기화 또는 조기 융합 전략보다 더 높은 성능을 낼 수 있는가?
• RQ4 굵기에서 세밀함으로 향하는 특징 학습과 이방성 융합의 통합은 깊은 네트워크나 추가 스트림 없이도 최신 기술 수준의 성능를 달성할 수 있는가?

주요 결과

• 제안된 CO2FI+ASYN 프레임워크는 UCF101에서 94.3%의 top-1 정확도와 HMDB51에서 69.0%를 기록하여 대부분의 기존 방법을 능가한다.
• IDT 특징과 융합된 경우, UCF101에서 95.2%와 HMDB51에서 72.6%를 기록하여 다른 IDT 증강 최신 기술 수준 방법들을 초월한다.
• 시간 오프셋 Δ=5를 가진 이방성 융합이 가장 큰 성능 향상을 보이며, 비동기 스트림 패턴을 모델링하는 것이 중요함을 확인한다.
• 제거 실험 결과, 굵기에서 세밀함으로 향하는 특징 통합과 이방성 융합을 병합하면 개별 구성 요소만 사용할 때보다 추가적인 성능 향상을 이룬다.
• 단지 VGG-16 백본을 사용함으로써도 뛰어난 성능를 기록하여, 더 깊은 아키텍처나 추가 스트림 없이도 효과적임을 입증한다.
• 그림 6의 시각화 결과는 이방성 융합이 서로 다른 시간 지점에서 다른 스트림의 피크 반응을 조합하여 참값 행동을 정확히 식별함을 확인한다.