[논문 리뷰] Collaborative Attention Mechanism for Multi-View Action Recognition

Yue Bai, Zhiqiang Tao외 4명|arXiv (Cornell University)|2020. 09. 14.

Human Pose and Action Recognition참고 문헌 47인용 수 9

한 줄 요약

이 논문은 다중 시야 행동 인식을 향상시키기 위해 상호주의 RNN(MAR) 셀을 통해 시야 간 상호주의적 어텐션 가이던스를 활용하는 협업 어텐션 메커니즘(CAM)을 제안한다. 시야별 어テン션 차이를 활용함으로써, 각 시야는 다른 시야로부터 숨겨진, 탐지하기 어려운 시간 패턴을 발견할 수 있게 되어, 네 개의 데이터셋에서 단일 시야 및 다중 시야 성능을 향상시키며, EV-Action과 Kinetics-Sounds에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Multi-view action recognition (MVAR) leverages complementary temporal information from different views to improve the learning performance. Obtaining informative view-specific representation plays an essential role in MVAR. Attention has been widely adopted as an effective strategy for discovering discriminative cues underlying temporal data. However, most existing MVAR methods only utilize attention to extract representation for each view individually, ignoring the potential to dig latent patterns based on mutual-support information in attention space. To this end, we propose a collaborative attention mechanism (CAM) for solving the MVAR problem in this paper. The proposed CAM detects the attention differences among multi-view, and adaptively integrates frame-level information to benefit each other. Specifically, we extend the long short-term memory (LSTM) to a Mutual-Aid RNN (MAR) to achieve the multi-view collaboration process. CAM takes advantages of view-specific attention pattern to guide another view and discover potential information which is hard to be explored by itself. It paves a novel way to leverage attention information and enhances the multi-view representation learning. Extensive experiments on four action datasets illustrate the proposed CAM achieves better results for each view and also boosts multi-view performance.

연구 동기 및 목표

• 기존의 다중 시야 행동 인식 방법들이 시야를 독립적으로 다루며 어텐션 공간 내 상호 정보를 忽略하는 한계를 해결하기 위해.
• 고립된 상태에서 탐지하기 어려운 잠재적이고 상호 보완적인 단서를 발견함으로써, 시야별 표현 학습을 향상시키기 위해.
• 어 attention 공간에서의 시야 간 협업 메커니즘을 개발하여, 개별 시야 성능과 최종 융합 정확도를 모두 향상시키기 위해.
• 다양한 모odal(예: RGB 및 깊이)의 고유한 강점을 활용하는 해석 가능한 어텐션 기반 방법을 제공하기 위해.

제안 방법

• 양방향 어텐션 기반 협업을 가능하게 하기 위해 LSTM을 확장한 상호주의 RNN(MAR) 셀을 제안한다.
• 모드별 시간 어텐션 분포(Z^v)를 사용하여 각 모달리티의 주목할 만한 프레임을 식별한다.
• 어텐션 차이를 기반으로 각 시야가 다른 시야가 놓친 프레임에 집중하도록 유도하는 협업 어텐션 메커니즘을 도입한다.
• 강화된 단일 시야 표현을 융합하기 위해 후기 융합을 적용하여 다중 시야 인식 성능을 향상시킨다.
• 시야 간 지식을 활용하여 어텐션 맵을 정밀하게 조정하기 위해 어텐션 점수 조절(Z^v_M)을 활용한다.
• 상호 지원에 기반하여 프레임 수준의 어텐션을 동적으로 조정할 수 있는 학습 가능한 어텐션 메커니즘을 구현한다.

실험 결과

연구 질문

• RQ1 시야 간 어텐션 협업은 다중 시야 행동 인식에서 분류 가능한 시간 패턴의 탐지에 향상 효과를 줄 수 있는가?
• RQ2 시야 간 상호 어텐션 가이던스는 개별 시야 어텐션을 넘어서 표현 학습을 어떻게 향상시키는가?
• RQ3 제안된 CAM은 단일 시야 및 다중 시야 행동 인식 벤치마크에서 어느 정도 성능 향상을 이룬다?
• RQ4 어텐션 시각화를 통한 모델의 해석 가능성은 다양한 모달 간 보완적 단서를 잘 포착하고 있는가를 확인할 수 있는가?

주요 결과

• 제안된 CAM은 EV-Action 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 다중 시야 정확도가 73.59%로 기준 LSTM(71.54%) 및 분석 제거 모델을 초월하였다.
• Kinetics-Sounds 데이터셋에서는 83.7%의 정확도를 기록하여 이전 SOTA 방법보다 1.2% 포인트 높은 성능을 보였다.
• 절단 실험 결과, MAR 셀을 제거하거나 한 시야의 협업을 제거할 경우 성능 저하가 발생하여, 시야 간 협업의 필요성을 확인하였다.
• 시각화 결과, CAM은 개별 시야가 놓친 프레임을 성공적으로 식별하였다. 예를 들어, 깊이 시야는 정점에서 '던지기' 동작을 탐지하고, RGB는 '손을 올리기/내리기' 동작을 포착하여, 다른 시야가 이를 주목하도록 유도하였다.
• 혼동 행렬 분석 결과, CAM은 특히 탐지하기 어려운 동작 단계에서의 오분류 비율을 감소시켰으며, 중요한 프레임에 대한 어텐션 강화로 인해 성능 향상을 이룬 것으로 확인되었다.
• 모델는 다양한 데이터셋에서 뛰어난 내재성 보존을 보였으며, 후기 융합 이전에도 단일 시야 성능이 지속적으로 향상되어 효과적인 표현 학습 능력을 입증하였다.