[논문 리뷰] Learning Latent Sub-events in Activity Videos Using Temporal Attention Filters

AJ Piergiovanni, Chenyou Fan외 1명|arXiv (Cornell University)|2016. 05. 26.

Human Pose and Action Recognition참고 문헌 16인용 수 12

한 줄 요약

이 논문은 활동 비디오의 잠재적 부분 이벤트를 동적으로 관련 시간 세그먼트에 집중함으로써 학습하는 가분성 있는 시간 주의 메커니즘 필터를 소개한다. 이는 CNN과 LSTMs를 사용한 엔드 투 엔드 훈련을 통해 행동 인식을 향상시킨다. 이 방법은 HMDB51에서 68.4%의 정확도를 기록하며, 기존의 기준 모델들을 크게 능가하며 '굴림'이나 '신축'과 같은 의미적으로 유의미한 부분 이벤트를 효과적으로 학습하고 있음을 보여준다.

ABSTRACT

In this paper, we newly introduce the concept of temporal attention filters, and describe how they can be used for human activity recognition from videos. Many high-level activities are often composed of multiple temporal parts (e.g., sub-events) with different duration/speed, and our objective is to make the model explicitly learn such temporal structure using multiple attention filters and benefit from them. Our temporal filters are designed to be fully differentiable, allowing end-of-end training of the temporal filters together with the underlying frame-based or segment-based convolutional neural network architectures. This paper presents an approach of learning a set of optimal static temporal attention filters to be shared across different videos, and extends this approach to dynamically adjust attention filters per testing video using recurrent long short-term memory networks (LSTMs). This allows our temporal attention filters to learn latent sub-events specific to each activity. We experimentally confirm that the proposed concept of temporal attention filters benefits the activity recognition, and we visualize the learned latent sub-events.

연구 동기 및 목표

• 다양한 지속 시간과 속도를 가진 부분 이벤트로 구성된 고수준 활동의 복잡한 시간적 구조를 모델링하는 데에 한계를 가진 기존의 CNN 기반 행동 인식 방법의 문제점을 해결하기 위해.
• 지속적인 주의 메커니즘 필터를 엔드 투 엔드로 학습시켜, 지표 부분 이벤트 애너테이션 없이도 잠재적 부분 이벤트를 암묵적으로 학습할 수 있도록 하기 위해.
• 기본 CNN 및 LSTM 아키텍처와 함께 공동 최적화가 가능한 완전히 가분성 있는 시간 주의 메커니즘 필터를 설계하기 위해.
• 개선된 인식 성능를 위해 정적 및 동적 적응형 주의 메커니즘 필터 학습 전략을 모두 탐색하기 위해.
• 학습된 필터가 실제 활동 비디오의 의미적으로 유의미한 부분 이벤트와 대응하는지 시각화하고 검증하기 위해.

제안 방법

• 이 방법은 각각 상대 시간 좌표계에서 중심 위치, 지속 시간, 해상도로 매개변수화된 정적 시간 주의 메커니즘 필터의 집합을 사용하며, 이는 프레임 수준의 CNN 특징 위에 가분성 있는 가우시안 필터로 적용된다.
• 각 필터는 자신의 시간 윈도우 내 프레임 특징의 가중 평균을 계산하고, 출력은 연결되어 완전히 연결된 레이어를 거쳐 분류에 사용된다.
• 필터는 역전파를 사용해 엔드 투 엔드로 훈련되며, 부분 이벤트 애너테이션 없이도 필터 매개변수와 CNN 가중치를 함께 최적화할 수 있다.
• LSTM 기반 변종은 여러 반복 동안 비디오별로 필터 매개변수를 동적으로 조정하여 비디오 고유의 부분 이벤트에 더 잘 집중할 수 있도록 한다.
• 이 방법은 VGG, C3D, 또는 TDD와 같은 프레임 기반 또는 세그먼트 기반 CNN 아키텍처와 호환되며, 고정 또는 학습된 필터 설정 모두에 사용할 수 있다.
• 모델은 교차 엔트로피 손실을 사용해 훈련되고, HMDB51 및 UCF101 데이터셋에서 표준 행동 인식 메트릭을 통해 평가된다.

실험 결과

연구 질문

• RQ1 지표 부분 이벤트 애너테이션이 없이도 가분성 있는 시간 주의 메커니즘 필터가 행동 비디오 내 잠재적 부분 이벤트를 효과적으로 학습할 수 있는가?
• RQ2 CNN과 시간 주의 메커니즘 필터를 함께 엔드 투 엔드로 훈련시키는 것이, 표준 풀링 또는 고정된 시간 피라미드 방법에 비해 행동 인식 성능을 향상시키는가?
• RQ3 LSTM 기반 메커니즘이 비디오별로 주의 메커니즘 필터를 동적으로 적응시켜 활동 고유의 부분 이벤트를 더 잘 포착할 수 있는가?
• RQ4 학습된 주의 메커니즘 필터가 실제 세계의 활동에서 '굴림'이나 '신축'과 같은 의미적으로 의미 있는 부분 이벤트를 반영하는가?
• RQ5 동일한 기본 특징을 사용할 때, 제안된 방법의 성능가 최신 기술 대비 어떻게 비교되는가?

주요 결과

• 제안된 방법은 TDD 특징과 활동별 시간 주의 메커니즘 필터를 사용해 HMDB51에서 68.4%의 정확도를 기록했으며, 평균 풀링을 사용한 기준 TDD 모델 대비 10.9% 향상된 성능이다.
• C3D 특징을 사용할 경우, 학습된 시간 주의 메커니즘 필터를 사용해 57.7%의 정확도를 기록했으며, 시간 피라미드 기준 모델의 49.7%보다 높은 성능을 보였다.
• LSTM 기반 동적 필터 적응 전략은 정적 필터보다 성능을 향상시켰으며, C3D 특징을 사용할 경우 세 개의 필터를 사용해 43.03%의 정확도를 기록했고, 정적 필터는 42.50%였다.
• 시각화 결과, 학습된 필터가 푸쉬업에서 '내려가기', 펀치에서 '신축', 숙연에서 '굴림'과 '일어나기'와 같은 의미적으로 의미 있는 부분 이벤트를 포착하고 있음을 확인했다.
• 단일 특징 유형만을 사용할 때도 몇 가지 최신 기술 대비 뚜렷한 성능 향상을 보이며, 학습된 부분 이벤트 모델링의 효과성을 입증했다.
• VGG, C3D, TDD 등 여러 기본 네트워크에서 일관된 성능 향상을 보여, 시간 주의 메커니즘 필터 접근법의 일반화 능력을 확인했다.