[논문 리뷰] Two-stream Flow-guided Convolutional Attention Networks for Action Recognition

An V. Tran, Loong‐Fah Cheong|arXiv (Cornell University)|2017. 08. 30.

Human Pose and Action Recognition참고 문헌 16인용 수 8

한 줄 요약

이 논문은 보정된 옵티컬 플로우를 사용하여 공간 스트림 CNN이 인간의 전경에 집중하도록 안내하는 흐름 유도 컨volutional 어텐션 네트워크(FCAN)를 제안한다. 교차 연결 레이어를 도입하여 플로우 유도 어텐션 맵을 요소별 곱셈으로 적용함으로써, 배경 잡음에 더 강건한 성능을 달성하며 UCF101(92.0%), HMDB51(66.7%), Hollywood2(71.1%)에서 최신 기술 수준(SOTA)을 달성한다.

ABSTRACT

This paper proposes a two-stream flow-guided convolutional attention networks for action recognition in videos. The central idea is that optical flows, when properly compensated for the camera motion, can be used to guide attention to the human foreground. We thus develop cross-link layers from the temporal network (trained on flows) to the spatial network (trained on RGB frames). These cross-link layers guide the spatial-stream to pay more attention to the human foreground areas and be less affected by background clutter. We obtain promising performances with our approach on the UCF101, HMDB51 and Hollywood2 datasets.

연구 동기 및 목표

• RGB 비디오 프레임으로 훈련된 공간 스트림 CNN에서 배경 잡음이 특징 활성화를 지배하는 문제를 해결하기 위해.
• 특히 카메라 움직임 보정이 이루어진 옵티컬 플로우의 고유한 운동 민감성을 활용하여 인간 행동 쪽으로 어텐션을 유도하기 위해.
• 공간 스트림에 시간적 운동 신호를 어텐션 맵으로 명시적으로 모델링하여 이중 스트림 행동 인식을 향상시키기 위해.
• 흐름 기반 어텐션이 더 단순한 3D-CNN 아키텍처에서도 효과적이며, 순환 어텐션 메커니즘보다 뛰어난 성능을 내는지 입증하기 위해.

제안 방법

• 보정된 옵티컬 플로우로 훈련된 시간 스트림에서 공간 스트림으로의 교차 연결 레이어를 도입하여 운동 기반 어텐션을 주입한다.
• 각 교차 연결 레이어는 플로우 특징 차원을 감소시키기 위해 1x1 컨볼루션을 적용하고, 배치 정규화와 시그모이드 활성화 함수를 거쳐 어텐션 맵을 생성한다.
• 생성된 어텐션 맵을 사용해 공간 스트림의 특징 맵과 요소별 곱셈을 수행하여 인간 전경 영역을 강조한다.
• 최종 예측은 공간 스트림과 시간 스트림 출력의 후기 융합을 통해 이루어지며, 공간-시간적 구조를 유지한다.
• 스패티오-타임리얼 특징을 효과적으로 모델링하기 위해 양 스트림에 3D 컨volutional 네트워크(C3D)를 사용한다.
• 일반화 성능 향상을 위해 다중 스케일 훈련 전략과 데이터 증강을 적용하며, Caffe에서 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 보정된 옵티컬 플로우가 공간 스트림 CNN이 인간 행동을 향해 집중하도록 안내하는 효과적인 어텐션 메커니즘으로 기능할 수 있는가?
• RQ2 흐름 기반 어텐션은 VideoLSTM과 같은 순환 어텐션 메커니즘과 비교해 행동 인식에서 어떻게 성능을 내는가?
• RQ3 이중 스트림 네트워크에서 효과적인 어텐션 유도를 위해 최적의 교차 연결 레이어 수는 몇 개인가?
• RQ4 명시적인 플로우 기반 어텐션 유도가 HMDB51나 Hollywood2와 같은 도전적인 데이터셋에서 성능 향상에 기여하는가?
• RQ5 공간 스트림이 표준 3D-CNN 아키텍처를 사용할 때도 흐름 기반 어텐션은 성능 향상에 기여하는가?

주요 결과

• 제안된 이중 스트림 FCAN은 UCF101에서 92.0%의 정확도를 달성하여 원래의 이중 스트림 2D-CNN보다 4.0% 높고, IDT+FV보다 6.1% 높다.
• HMDB51에서는 66.7%의 정확도를 기록하여 원래의 이중 스트림 2D-CNN보다 7.3% 향상되었고, 소프트 어텐션 모델(41.3%)보다는 25.4% 향상되었다.
• Hollywood2 데이터셋에서 새로운 최신 기술 수준 성능인 71.1%를 달성하여 강력한 일반화 능력을 입증했다.
• 네 개의 FCAN 모델을 앙상블하면 UCF101에서 93.4%로 성능 향상되고, HMDB51에서는 68.2%로 향상되어 상호 보완성이 높음을 시사한다.
• 시각화 결과는 보정된 플로우에서 유도된 어텐션 맵이 특히 복잡한 장면에서 인간 실루엣과 운동 영역을 효과적으로 강조함을 확인했다.
• 모델은 한두 개의 교차 연결 레이어에서 최고 성능를 보이며, 이 이상의 레이어 수에서는 성능 향상의 효과가 점점 감소함을 시사한다.