[논문 리뷰] Attentive Action and Context Factorization

Yang Wang, Vinh Cao Trần외 3명|arXiv (Cornell University)|2019. 04. 10.

Human Pose and Action Recognition참고 문헌 27인용 수 5

한 줄 요약

이 논문은 인간 행동의 시공간 국지화를 위한 약한 지도 학습 주의 메커니즘을 훈련하기 위해 공액 영상 샘플(행동이 없는, 그러나 맥락적으로 유사한 클립)을 사용하는 주의적 행동 및 맥락 분해 방법을 제안한다. 이 방법은 이중 시공간 주의 맵을 통해 행동 및 맥락 특징을 분리하여, 자세한 애너테이션을 요구하지 않고도 행동 인식 정확도와 해석 가능성 향상을 이룬다.

ABSTRACT

We propose a method for human action recognition, one that can localize the spatiotemporal regions that `define' the actions. This is a challenging task due to the subtlety of human actions in video and the co-occurrence of contextual elements. To address this challenge, we utilize conjugate samples of human actions, which are video clips that are contextually similar to human action samples but do not contain the action. We introduce a novel attentional mechanism that can spatially and temporally separate human actions from the co-occurring contextual factors. The separation of the action and context factors is weakly supervised, eliminating the need for laboriously detailed annotation of these two factors in training samples. Our method can be used to build human action classifiers with higher accuracy and better interpretability. Experiments on several human action recognition datasets demonstrate the quantitative and qualitative benefits of our approach.

연구 동기 및 목표

• 행동이 미세하고 맥락적 요소와 함께 공존하는 영상에서 인간 행동을 정의하는 시공간 영역을 국지화하는 데 도전하는 것.
• 목표 행동이 없는 맥락적으로 유사한 클립인 공액 샘플을 활용하여 고비용의 세밀한 애너테이션에 대한 의존도를 줄이는 것.
• 주의 메커니즘을 통해 행동 및 맥락 표현을 명시적으로 분리함으로써 모델의 해석 가능성 향상.
• 분류 성능 향상을 이루면서도 행동 및 맥락 구성 요소의 시각적 기반 제공을 위한 방법 개발.

제안 방법

• 행동 영상와 그 공액 샘플(목표 행동이 없지만 맥락적으로 유사한 클립)로 구성된 쌍체 훈련 데이터를 사용한다.
• 행동 및 맥락 구성 요소에 대해 별도의 시공간 주의 맵을 생성하기 위해 이중 분지 주의 메커니즘을 적용한다.
• 공간적 및 시간적 주의를 적용하여 관련 영상 영역의 특징을 선택적으로 풀링함으로써 분리된 특징 추출을 가능하게 한다.
• 분류 손실 최소화, 행동 및 공액 샘플의 맥락 특징 간 유사도 최대화, 행동 특징 간 유사도 최소화를 동시에 최적화하는 통합 목표 함수를 설정한다.
• 특징 추출을 위해 3D CNN 백본(예: 3D-Res34-RGB)을 사용하고, 주의 가중 특징에 대해 전역 평균 풀링을 적용한다.
• Pascal VOC2012에 적합한 이미지 보완 및 블렌딩 기법을 활용해 정적 이미지에 대한 공액 샘플을 생성함으로써 프레임워크를 정적 이미지로 일반화한다.

실험 결과

연구 질문

• RQ1 세밀한 애너테이션 없이도 약한 지도 학습 주의 메커니즘이 행동 관련 시공간 영역을 효과적으로 국지화할 수 있는가?
• RQ2 공액 샘플만을 사용할 때 모델이 행동 및 맥락 표현을 얼마나 잘 분리할 수 있는가?
• RQ3 기존 주의 기반 모델에 비해 제안된 방법이 행동 인식 정확도와 해석 가능성에 얼마나 기여하는가?
• RQ4 HACS 데이터셋의 짧은 영상 클립과 같은 짧은 지속 시간의 영상에서 이 방법의 효과는 어떠한가?
• RQ5 이 프레임워크는 정적 이미지에 대해도 행동 및 맥락 국지화에 일반화될 수 있는가?

주요 결과

• 제안된 ActX 방법은 Pascal VOC2012 데이터셋에서 mAP 80.2%를 달성하여 이전 최고 성능인 75.2%를 초월한다.
• HACS-30 데이터셋에서 ActX는 기준 주의 기반 모델보다 더 높은 mAP 및 mAcc를 기록하지만, 짧은 영상 지속 시간으로 인해 성능 향상 폭은 다소 작다.
• 행동과 맥락을 명확히 분리하는 주의 맵 덕분에 모델의 해석 가능성 향상이 뚜렷하다. 행동 맵은 인간-물체 상호작용에 집중하고, 맥락 맵은 배경 및 장면 요소에 집중한다.
• ActionThread 및 Hollywood2 데이터셋에서의 실험을 통해 기존 주의 기반 모델에 비해 일관된 성능 향상이 확인되었다.
• 행동 및 맥락에 대한 주의 맵은 시각적으로 일관성이 있으며, 행동 맵은 인간-물체 상호작용에 집중하고 맥락 맵은 배경 및 환경 요소를 강조한다.
• 공액 샘플의 사용은 효과적인 약한 지도 학습을 가능하게 하여 행동 및 맥락에 대한 픽셀 수준 또는 바운딩 박스 애너테이션의 필요성을 제거한다.