[논문 리뷰] Trimmed Action Recognition, Dense-Captioning Events in Videos, and Spatio-temporal Action Localization with Focus on ActivityNet Challenge 2019

Zhaofan Qiu, Dong Li외 4명|arXiv (Cornell University)|2019. 06. 14.

Human Pose and Action Recognition참고 문헌 27인용 수 8

한 줄 요약

이 논문은 ActivityNet Challenge 2019를 위한 다중 단서 영상 이해 프레임워크를 제안하며, 프레임, 운동(광학 흐름), 음성 특징을 후기 융합을 통해 통합하여 정렬된 동작 인식을 수행하고, 시간적 주의 메커니즘과 정책 기반 강화 학습을 사용한 이중 스트림 LSTM을 활용해 밀도 높은 영상 설명을 생성하며, 공간-시간 주의 메커니즘과 GCN 기반 장거리 모델링을 통합한 장기 기억 관계 네트워크(LSTR)를 도입하여 공간-시간 동작 국소화를 향상시켰다. 결과적으로 AVA 검증 세트에서 30.5% mAP, 설명 생성 테스트 세트에서 8.49% METEOR를 달성하였다.

ABSTRACT

This notebook paper presents an overview and comparative analysis of our systems designed for the following three tasks in ActivityNet Challenge 2019: trimmed action recognition, dense-captioning events in videos, and spatio-temporal action localization.

연구 동기 및 목표

• 프레임, 짧은 클립, 광학 흐름과 같은 다중 공간-시간 단서를 융합하여 정렬된 동작 인식 성능을 향상시키기 위해 노력한다.
• 시간적 주의 메커니즘과 정책 기반 강화 학습 최적화를 적용한 이중 레이어 LSTM을 사용하여 비정렬 영상 내 이벤트에 대한 밀도 높은 자연어 기반 설명을 생성한다.
• 클립 간의 짧은 기간 인간-맥락 상호작용과 장기적인 시간적 의존성을 동시에 모델링하여 공간-시간 동작 국소화 성능을 향상시킨다.
• 영상 수준 표현 학습을 위한 효과적인 특징 양자화 전략—평균 풀링 및 시간적 컨volutional 풀링—을 조사한다.
• ActivityNet Challenge 2019에서 세 가지 영상 이해 과제 전반에 걸쳐 최신 기술 수준의 성능을 달성한다.

제안 방법

• 2D 및 3D CNN(LGD-P3D)을 사용하여 영상 클립에서 외관, 운동, 음성 특징을 추출하며, ResNet-101 또는 Xception 백본을 활용한다.
• 클립 수준 특징에서 영상 수준 표현을 생성하기 위해 평균 풀링과 새로운 1D 시간적 컨volutional 풀링(TCP)을 적용하며, 5개의 깊이-wise 잔차 블록을 포함한다.
• RGB 및 광학 흐름 입력을 사용한 이중 스트림 프레임워크를 도입하고, 후기 융합을 통해 예측을 융합하여 동작 인식 및 국소화 성능을 향상시킨다.
• 3D RoI 풀링을 사용해 제안 영역 특징을 추출한 후, 공간-시간 주의 메커니즘으로 국소적 맥락을 모델링하고 GCN을 활용해 클립 간 장거리 의존성을 모델링하는 장기 기억 관계 네트워크(LSTR)를 설계한다.
• 영상 표현과 검출된 속성에 조건부인 문장 기반 설명을 생성하기 위해 시간적 주의 메커니즘과 정책 기반 강화 학습 최적화를 적용한 이중 레이어 LSTM을 활용한다.
• 이벤트 제안을 국소화하기 위해 분류 기반 파ipeline을 사용한 후, 주의 기반 영상 특징과 속성 조건을 통합하여 문장 생성을 수행한다.

실험 결과

연구 질문

• RQ1 효율적으로 융합된 다중 공간-시간 단서—프레임, 클립, 운동—는 정렬된 동작 인식 성능 향상에 어떻게 기여하는가?
• RQ2 시간적 주의 메커니즘과 정책 기반 강화 학습 최적화를 적용한 이중 스트림 LSTM은 ActivityNet Captions 데이터셋에서 밀도 높은 영상 설명 성능을 크게 향상시킬 수 있는가?
• RQ3 짧은 기간 인간-맥락 상호작용과 장기적인 시간적 역학을 동시에 모델링하여 공간-시간 동작 국소화 성능를 향상시킬 수 있는가?
• RQ4 영상 수준 표현 학습 과제에서 평균 풀링 대비 시간적 컨volutional 풀링의 상대적 효과는 어떠한가?
• RQ5 RGB, 흐름, 음성 등의 다중 모odal 특징을 후기 융합하여 동작 인식, 설명 생성, 국소화 과제 전반의 성능 향상에 얼마나 기여하는가?

주요 결과

• 이중 스트림 후기 융합(RGB 및 흐름 스트림)과 다중 해상도 추론을 사용하여 AVA 검증 세트에서 30.5% mAP의 공간-시간 동작 국소화 성능을 달성하였다.
• 설명 생성 모델에 정책 기반 강화 학습 최적화를 추가함으로써 METEOR 점수는 검증 세트에서 9.81에서 10.30으로 상승했고, 테스트 세트에서는 8.49%의 METEOR 점수를 기록하였다.
• 시간적 컨volutional 풀링(TCP)을 사용함으로써 평균 풀링 대비 더 구분력 있는 영상 수준 표현을 생성하여 인식 성능 향상에 기여하였다.
• 공간-시간 주의 메커니즘과 GCN 기반 장거리 모델링을 융합한 LSTR 프레임워크는 국소적 상호작용과 전역 역학을 모두 포착함으로써 동작 국소화를 위한 특징 표현을 크게 향상시켰다.
• 프레임, 운동, 음성 특징의 후기 융합은 정렬된 동작 인식에서 뛰어난 성능을 달성하여 다중 단서 융합의 가치를 입증하였다.
• 이 시스템은 ActivityNet Challenge 2019 프레임워크 내에서 동작 인식, 밀도 높은 설명 생성, 국소화라는 세 가지 상이한 영상 이해 과제에 걸쳐 뛰어난 일반화 성능을 보였다.