[논문 리뷰] Temporal Aggregate Representations for Long-Range Video Understanding

Fadime Şener, Dipika Singhania외 1명|arXiv (Cornell University)|2020. 06. 01.

Human Pose and Action Recognition참고 문헌 9인용 수 7

한 줄 요약

이 논문은 장기적인 비디오 이해를 향상시키기 위해 다중 해상도 시간적 집계를 사용하는 유연한 단일 단계 프레임워크를 제안한다. 비디오 스니펫 간의 최대 풀링과 어텐션을 조합하여 최근 및 장기적 맥락을 모두 모델링한다. 이는 최소한의 아키텍처 수정으로 Breakfast, 50Salads, EPIC-Kitchens에서 행동 예측, 인식, 분할 작업에서 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

Future prediction, especially in long-range videos, requires reasoning from current and past observations. In this work, we address questions of temporal extent, scaling, and level of semantic abstraction with a flexible multi-granular temporal aggregation framework. We show that it is possible to achieve state of the art in both next action and dense anticipation with simple techniques such as max-pooling and attention. To demonstrate the anticipation capabilities of our model, we conduct experiments on Breakfast, 50Salads, and EPIC-Kitchens datasets, where we achieve state-of-the-art results. With minimal modifications, our model can also be extended for video segmentation and action recognition.

연구 동기 및 목표

• 장기적인 비디오 이해에서 시간적 범위, 확장성, 의미적 추상화의 과제를 해결하기 위해.
• 행동 예측을 위해 최근 및 장기적 비디오 맥락을 효과적으로 모델링하기 위해.
• 지침형 및 일상 활동 비디오를 포함한 다양한 비디오 유형에 대응할 수 있는 유연한 프레임워크를 개발하기 위해.
• 통합된 단일 단계 아키텍처를 통해 행동 예측, 인식, 분할 등의 다수의 비디오 이해 작업을 지원하기 위해.
• 사전에 분할된 데이터나 복잡한 엔드 투 엔드 학습에 의존도를 줄이기 위해, 압축되고 계층적인 시간적 표현을 사용하기 위해.

제안 방법

• 장기적인 비디오를 고정 길이의 스니펫으로 나누고, 각 스니펫 내에서 프레임 수준 특징을 최대 풀링하여 집계한다.
• 하향식으로 계층적인 집계 과정을 통해 최근 스니펫과 범위를 넘는 스니펫을 조합하여 다중 스케일 시간적 집계를 구성한다.
• 기본적으로 현재 관측치와 장기적 맥락을 연결하는 결합된 어텐션 메커니즘을 사용하여 효과적인 장기적 추론을 가능하게 한다.
• 모델은 시각적 특징과 프레임 수준의 행동 레이블을 모두 입력으로 수용할 수 있어 입력 추상화 수준의 유연성을 확보한다.
• 모델은 엔드 투 엔드로 학습되며, 최소한의 수정으로 행동 예측, 인식, 시간적 비디오 분할 작업에 적응할 수 있다.
• 다양한 스케일 간 앙상블 학습이 성능을 향상시키며, 특히 고밀도 예측 및 장기 예측에서 두드러진다.

실험 결과

연구 질문

• RQ1 장기적인 비디오 이해에서 다양한 시간적 범위에 걸쳐 시간적 맥락을 효과적으로 모델링할 수 있는 방법은 무엇인가?
• RQ2 정확한 행동 예측을 위해 최적의 의미적 추상화 수준과 시간적 해상도는 무엇인가?
• RQ3 단일 통합 프레임워크가 여러 비디오 이해 작업에서 최신 기술 성능(SOTA)을 달성할 수 있는가?
• RQ4 단일 스케일 또는 비집합된 접근 방식에 비해 다중 스케일 시간적 집계는 성능 향상에 어떤 기여를 하는가?
• RQ5 입력 모odal리티(시각적 특징 대비 프레임 수준 레이블)가 예측 성능에 미치는 영향은 어느 정도인가?

주요 결과

• 모델은 Breakfast, 50Salads, EPIC-Kitchens에서 모두 다음 행동 예측 및 고밀도 예측 설정에서 행동 예측 작업에서 최신 기술 성능(SOTA)을 달성한다.
• EPIC-Kitchens S1에서 모델은 고밀도 예측에 대해 63.5%의 F1 점수를 기록하여 이전 방법들인 RU(55.3%) 및 LFB(55.3%)를 뛰어넘었다.
• EPIC-Kitchens S2에서 모델은 고밀도 예측에 대해 64.1%의 F1 점수를 기록하여 RU(55.3%) 및 LFB(57.8%)를 초월했다.
• Breakfast에서의 시간적 비디오 분할 작업에서는 5초 윈도우 기준 59.2%의 F1@50 점수를 기록했으며, MS-TCN(I3D)의 52.6% F1@50에 근접하는 성능을 보였다.
• 프레임 수준의 레이블을 입력으로 사용할 경우 시각적 특징보다 더 높은 예측 성능을 기록하여, 더 높은 추상화 수준이 장기적 추론을 향상시킨다는 것을 시사한다.
• 모델는 강력한 일반화 능력을 보이며, 최소한의 아키텍처 수정으로도 행동 인식 및 분할 작업에서 경쟁적인 성능을 달성한다.