[논문 리뷰] Detecting events and key actors in multi-person videos

Vignesh Ramanathan, Jonathan Huang외 4명|arXiv (Cornell University)|2015. 11. 09.

Human Pose and Action Recognition참고 문헌 6인용 수 20

한 줄 요약

이 논문은 액터에 대한 명시적 애너테이션을 요구하지 않고, 다수의 인물이 등장하는 비디오에서 사건을 탐지하고 핵심 주체를 식별하기 위한 주의 기반 딥러닝 모델을 제안한다. 개인을 추적하고 시간에 따라 변하는 주의 메커니즘을 사용하여 추적된 인물의 특징에 대해 순환 신경망을 적용함으로써, 14,000개의 조밀한 사건 애너테이션이 포함된 새로운 대규모 농구 비디오 데이터셋에서 최신 기술 수준의 성능를 달성하며, 동시에 관련된 플레이어를 자동으로 국소화한다.

ABSTRACT

Multi-person event recognition is a challenging task, often with many people active in the scene but only a small subset contributing to an actual event. In this paper, we propose a model which learns to detect events in such videos while automatically "attending" to the people responsible for the event. Our model does not use explicit annotations regarding who or where those people are during training and testing. In particular, we track people in videos and use a recurrent neural network (RNN) to represent the track features. We learn time-varying attention weights to combine these features at each time-instant. The attended features are then processed using another RNN for event detection/classification. Since most video datasets with multiple people are restricted to a small number of videos, we also collected a new basketball dataset comprising 257 basketball games with 14K event annotations corresponding to 11 event classes. Our model outperforms state-of-the-art methods for both event classification and detection on this new dataset. Additionally, we show that the attention mechanism is able to consistently localize the relevant players.

연구 동기 및 목표

• 사건과 관련된 인물의 일부만이 관련이 되는 다수의 인물이 등장하는 비디오에서의 사건 인식 도전 과제를 해결하기 위해.
• 학습 중에 애너테이션이 없는 상태에서 핵심 주체를 식별할 수 있는 약한 지도 학습 방법을 개발하기 위해.
• 다수의 인물이 등장하는 사건 인식 모델의 강력한 평가를 가능하게 하기 위해 대규모로 조밀하게 애너테이션된 농구 비디오 데이터셋을 구축하기 위해.
• 주의 메커니즘이 사건 수준의 지도 학습만으로도 핵심 주체를 암묵적으로 국소화할 수 있음을 보여주기 위해.

제안 방법

• 모델은 개인 탐지 및 재식별을 사용하여 프레임 간에 개인을 추적하여 시간적 트랙을 형성한다.
• 각 개인 트랙은 시공간적 특징을 시간에 따라 인코딩하기 위해 순환 신경망(RNN)을 사용하여 표현된다.
• 시간에 따라 변하는 주의 메커니즘이 RNN으로 임베딩된 트랙 특징에 적용되어 각 시간 단계에서 가장 관련성이 높은 개인을 동적으로 선택한다.
• 주목된 특징은 이차 RNN을 통해 사건 분류 및 시간적 국소화에 처리된다.
• 모델는 핵심 주체 애너테이션 없이 비디오 수준 또는 클립 수준의 사건 레이블만을 사용하여 엔드 투 엔드로 훈련된다.
• 257개의 장시간 비디오와 11개의 사건 클래스에 걸쳐 14,000개의 조밀한 시간적 애너테이션이 포함된 새로운 대규모 농구 비디오 데이터셋을 수집하였다.

실험 결과

연구 질문

• RQ1 주어진 액터의 위치나 신원에 대한 어떤 지도 학습도 없이, 주의 기반 모델이 다수의 인물이 등장하는 비디오에서 핵심 주체를 자동으로 식별할 수 있는가?
• RQ2 복잡하고 혼잡한 장면에서 사건 탐지 시 주의 메커니즘이 관련 플레이어를 국소화하는 데 얼마나 효과적인가?
• RQ3 추적 기반 기술이 시간에 걸쳐 핵심 주체에 대한 일관된 주의를 유지하는 데 모델의 능력을 향상시키는가?
• RQ4 장시간이고 잘리지 않은 비디오에서 주의 메커니즘이 다양한 유형의 사건에 일반화될 수 있는 정도는 어느 정도인가?
• RQ5 새로운 대규모 다수의 인물이 등장하는 비디오 데이터셋에서 최신 기술 수준의 방법과 비교해 모델의 성능는 어떻게 되는가?

주요 결과

• 제안된 모델은 새로운 농구 데이터셋에서 사건 분류 및 시간적 탐지 작업 모두에서 최신 기술 수준의 방법을 능가한다.
• 주의 메커니즘이 사건 클립에서 슛팅 플레이어를 식별하는 데 평균 정밀도 0.618을 달성하여 추적 기반 없이 설계된 베이스라인 모델보다 뚜렷이 뛰어나다.
• 모델은 사건의 시작 단계에서 정확한 슛팅 플레이어를 주목한다. 예를 들어, 패널티 슛 이벤트의 경우 파울 라인 근처에 집중하고, 3점 슛의 경우 3점선 외부에 집중한다.
• 시각화 결과는 주의가 사건 의미와 공간적으로 일관되게 작동하며, 이벤트 유형에 따라 슛팅 플레이어 또는 관련 수비수 위치에 집중함을 보여준다.
• 추적 기반 주의 모델은 이벤트 전체 동안 한 명의 플레이어에 집중하는 경향이 있으며, 일부 경우에선 패널티 슛 상황에서 수비수를 슛터보다 우선시하는 경향이 있다.
• 핵심 주체에 대한 명시적 지도 학습이 없음에도 불구하고, 모델의 주의 메커니즘은 11개의 사건 클래스 중 8개에서 주요 주체를 신뢰성 있게 국소화하며, 강력한 약한 지도 학습 국소화 능력을 보여준다.