[논문 리뷰] Action Recognition with Joint Attention on Multi-Level Deep Features

Jialin Wu, Gu Wang외 2명|arXiv (Cornell University)|2016. 07. 09.

Human Pose and Action Recognition참고 문헌 17인용 수 13

한 줄 요약

이 논문은 3D-컨볼루션 네트워크와 새로운 공동 LSTM 모듈을 활용하여 다중 수준의 딥 특징에 대한 공동 주의를 적용한 딥 지도 학습 신경망을 제안한다. 이는 시간적 모델링과 강건성을 향상시킨다. 모델은 오직 RGB 특징만을 사용하여 UCF101과 HMDB51에서 최신 기술 수준(SOTA) 성능을 달성하며, 이는 이전의 주의 기반 모델 대비 최대 20.4% 향상된 성능이다.

ABSTRACT

We propose a novel deep supervised neural network for the task of action recognition in videos, which implicitly takes advantage of visual tracking and shares the robustness of both deep Convolutional Neural Network (CNN) and Recurrent Neural Network (RNN). In our method, a multi-branch model is proposed to suppress noise from background jitters. Specifically, we firstly extract multi-level deep features from deep CNNs and feed them into 3d-convolutional network. After that we feed those feature cubes into our novel joint LSTM module to predict labels and to generate attention regularization. We evaluate our model on two challenging datasets: UCF101 and HMDB51. The results show that our model achieves the state-of-art by only using convolutional features.

연구 동기 및 목표

• 배경 잡음과 클래스 내 분산에 강건성을 유지하면서 영상 행동 인식에서 시간적 역학을 포착하는 데 도전한다.
• 궤적 기반 및 단일 브랜치 특징 추출의 한계를 극복하기 위해 사전 훈련된 CNN에서 유도된 다중 수준의 딥 특징을 통합한다.
• 3D-컨볼루션넷과 공동 LSTM 모듈의 성능 향상을 위해 새로운 주의 정규화 메커니즘을 통해 성능을 향상시킨다.
• 다양한 추상화 수준의 특징을 효과적으로 통합하기 위해 두 가지 새로운 공동 LSTM 구조를 통해 적응형 융합 메커니즘을 설계한다.

제안 방법

• 사전 훈련된 VGG-16 네트워크(예: pool4 및 conv5_3 레이어)에서 다중 수준의 딥 특징을 추출하여 일반적이고 특정한 시각적 패턴을 포착한다.
• 추출된 특징을 3D-컨볼루션 네트워크에 입력하여 영상 클립 간의 시공간적 종속성을 모델링한다.
• 행동 레이블을 공동 예측하고 특징 정규화를 위한 주의 맵을 생성하는 새로운 공동 LSTM 모듈을 활용한다.
• 주의 학습을 이끌고 훈련 수렴성과 일반화 능력을 향상시키기 위해 소프트 지도 정규화 항목을 도입한다.
• 조기 융합과 후기 융합이라는 두 가지 융합 전략을 공동 LSTM 내부에 구현하여 다중 수준 특징을 적응적으로 통합한다.
• 주의 정규화를 포함한 교차 엔트로피 손실을 사용하여 전체 모델을 엔드 투 엔드로 훈련시켜 분류 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 광학 흐름이나 복잡한 수작업 특징에 의존하지 않고 다중 수준의 딥 특징에 대한 공동 주의가 행동 인식 성능 향상에 기여할 수 있는가?
• RQ2 주의 정규화가 3D-컨볼루션넷과 LSTM 구성 요소의 학습에 어떻게 기여하는가?
• RQ3 다양한 VGG-16 레이어에서 유도된 다중 수준 특징(예: pool4 및 conv5_3)을 단일 수준 특징과 비교했을 때의 영향은 무엇인가?
• RQ4 공동 LSTM 내부의 조기 융합과 후기 융합 전략이 성능 및 특징 융합에 미치는 영향은 무엇인가?
• RQ5 추가 모odal 융합 없이 오직 RGB 입력만을 사용하여 제안된 모델이 최신 기술 수준의 방법을 뛰어넘을 수 있는가?

주요 결과

• 제안된 모델은 UCF101에서 90.6%의 top-1 정확도와 HMDB51에서 61.7%의 정확도를 달성하여, 기준 소프트 주의 모델 대비 20.4%의 절대 정확도 향상을 기록했다.
• 다양한 VGG-16 레이어(예: pool4 및 conv5_3)에서 유도된 다중 분기 특징을 사용하면 성능 향상이著격하게 향상되며, 후기 융합은 HMDB51에서 61.7%의 정확도를 달성했다.
• 2D-컨볼루션넷과 직접 LSTM 입력 대비 3D-컨볼루션넷이 각각 4.4%와 4.6% 높은 성능를 기록하여 시공간 패턴을 포착하는 데 효과적임을 입증했다.
• 주의 정규화는 수렴 속도를 향상시키고 훈련 손실을 낮추며, 모델이 세 번째 에포크에 안정화됨을 보였다.
• 후기 융합 아키텍처를 갖춘 공동 LSTM이 조기 융합보다 더 높은 성능를 기록하여 향상된 특징 융합과 독립성을 입증했다.
• 정성적 주의 맵을 통해 모델이 행동 관련 영역(예: 손, 얼굴, 사지)에 성공적으로 집중함을 확인하였으며, 인간의 핵심 행동 신호 인식과 일치했다.