[논문 리뷰] Deep Action- and Context-Aware Sequence Learning for Activity Recognition and Anticipation

Mohammad Sadegh Ali Akbarian, Fatemehsadat Saleh외 4명|arXiv (Cornell University)|2016. 11. 17.

Human Pose and Action Recognition참고 문헌 37인용 수 13

한 줄 요약

이 논문은 비디오 기반 행동 인식과 예측을 위해 맥락 인식 및 행동 인식 특징을 명시적으로 조합하는 다단계 LSTM 아키텍처를 제안한다. CNN에서 유도된 전역적 시점 맥락과 국소적 행동 활성화를 활용하고, 새로운 조기 예측 손실을 도입함으로써, 오직 RGB 프레임만을 사용하여 UCF-101과 JHMDB-21에서 최신 기술 수준의 정확도를 달성한다. 이는 단일 유형의 특징만을 사용하거나 효율성이 떨어지는 융합 전략을 사용하는 기존 방법들을 능가한다.

ABSTRACT

Action recognition and anticipation are key to the success of many computer vision applications. Existing methods can roughly be grouped into those that extract global, context-aware representations of the entire image or sequence, and those that aim at focusing on the regions where the action occurs. While the former may suffer from the fact that context is not always reliable, the latter completely ignore this source of information, which can nonetheless be helpful in many situations. In this paper, we aim at making the best of both worlds by developing an approach that leverages both context-aware and action-aware features. At the core of our method lies a novel multi-stage recurrent architecture that allows us to effectively combine these two sources of information throughout a video. This architecture first exploits the global, context-aware features, and merges the resulting representation with the localized, action-aware ones. Our experiments on standard datasets evidence the benefits of our approach over methods that use each information type separately. We outperform the state-of-the-art methods that, as us, rely only on RGB frames as input for both action recognition and anticipation.

연구 동기 및 목표

• 기존 행동 인식 방법들이 맥락을 무시하거나 과도하게 의존하는 한계를 해결하기 위해 맥락 인식 및 행동 인식 특징을 융합한다.
• 조기 분류를 장려하는 새로운 손실 함수를 설계하여, 시퀀스 처리 중 가능한 한 빨리 정확한 예측을 가능하게 하여 행동 예측 성능을 향상시킨다.
• 광역 맥락과 국소적 행동 표현을 명시적으로 융합하는 효율적이고 효과적인 딥 러닝 프레임워크를 개발하며, 광학 흐름이나 수작업으로 만든 특징을 필요로 하지 않는다.
• 구조화된 다단계 아키텍처를 통해 맥락과 행동 특징을 융합함으로써, 단모달 또는 단순 융합 접근 방식에 비해 뛰어난 성능을 얻을 수 있음을 입증한다.

제안 방법

• 모델은 전체 비디오 프레임에 적용된 사전 학습된 CNN의 마지막 레이어에서 맥락 인식 특징을 추출하여 전역적 시점 정보를 캡처한다.
• 다른 CNN을 사용하여 클래스별 활성화를 이용해 행동 인식 특징을 생성하며, 행동이 발생할 가능성이 높은 영역을 강조한다.
• 새로운 다단계 LSTM 아키텍처는 먼저 맥락 인식 특징을 처리한 후, 행동 인식 특징과 융합하여 최종 예측을 생성한다.
• 모델은 조기 단계에서 잘못된 예측에 대해 벌점을 주는 커스터마이즈된 손실 함수를 사용하여, 네트워크가 가능한 한 일찍 정확한 결정을 내리도록 유도한다.
• 행동 예측을 위해, 소프트맥스 확률에 시간에 따라 평균 풀링을 적용하여 노이즈가 있거나 조기 예측에 대한 강건성을 향상시킨다.
• 프레임 샘플링 및 융합 전략에 대한 분석을 포함하여, 오직 RGB 프레임만을 사용하여 UCF-101과 JHMDB-21에서 평가한다.

실험 결과

연구 질문

• RQ1 구조화된 딥 러닝 아키텍처를 통해 맥락 인식 및 행동 인식 특징을 융합하면 행동 인식 및 예측 성능이 향상되는가?
• RQ2 먼저 맥락을 처리하고 나서 행동 특징을 융합하는 다단계 LSTM이, 병렬 또는 단일 단계에서 순차적으로 특징을 처리하는 모델보다 성능이 뛰어나지 않는가?
• RQ3 조기 예측을 장려하는 새로운 손실 함수는 표준 크로스 엔트로피 손실에 비해 행동 예측 정확도를 얼마나 향상시키는가?
• RQ4 특히 인식 정확도와 예측 속도 측면에서, 오직 RGB 프레임만을 사용하는 최신 기술 수준의 접근 방식과 비교해 본다면, 제안된 방법의 성능는 어떠한가?

주요 결과

• 제안된 방법은 UCF-101(83.4%)과 JHMDB-21에서 오직 RGB 프레임만을 사용하여 최신 기술 수준의 행동 인식 정확도를 달성하며, RGB 프레임만을 사용하는 다른 방법들을 능가한다.
• 맥락 및 행동 인식 특징의 다단계 융합은 단일 특징 유형 또는 단순 연결 기반 융합을 사용하는 모델에 비해 뚜렷한 성능 향상을 이룬다.
• 비디오의 첫 50프레임만을 사용해도 UCF-101에서 83.4%의 정확도를 달성하며, 30프레임으로 줄여도 성능 저하가 미미하다(81.9%).
• 제안된 조기 예측 손실은 행동 예측 성능을 크게 향상시키며, 시간에 따른 평균 풀링을 통해 강건성과 정확도가 추가로 향상된다.
• 광학 흐름을 통합할 경우, UCF-101에서 88.7%의 정확도를 기록하여 대부분의 광학 흐름을 사용하는 기준 모델을 능가하지만, 이중 스트림 융합 모델을 제외한 대부분의 기준 모델을 능가한다.
• 실험 결과, K=30을 초과하여도 프레임 샘플링 전략의 영향이 미미함을 확인하여, 충분한 맥락 정보가 확보된 경우 입력 프레임 선택에 대해 모델이 강건함을 입증한다.