[논문 리뷰] PERF-Net: Pose Empowered RGB-Flow Net

Yinxiao Li, Zhichao Lu외 2명|arXiv (Cornell University)|2020. 09. 28.

Human Pose and Action Recognition참고 문헌 46인용 수 9

한 줄 요약

PERF-Net는 인간 자세 추정을 RGB 프레임에 초과하여 전용 입력 스트림으로 통합함으로써 자세 인식 RGB-플로우 네트워크를 통합한 새로운 비디오 행동 인식 모델을 제안한다. RGB, 플로우, 자세 스트림로부터 지식 정복을 통해 Kinetics-600(82.0 top-1 정확도)과 Kinetics-700에서 최신 기술 수준의 성능을 달성하며, 추론 시에만 RGB 입력을 사용함으로써 플로우 또는 자세 계산이 필요 없도록 한다.

ABSTRACT

In recent years, many works in the video action recognition literature have shown that two stream models (combining spatial and temporal input streams) are necessary for achieving state of the art performance. In this paper we show the benefits of including yet another stream based on human pose estimated from each frame -- specifically by rendering pose on input RGB frames. At first blush, this additional stream may seem redundant given that human pose is fully determined by RGB pixel values -- however we show (perhaps surprisingly) that this simple and flexible addition can provide complementary gains. Using this insight, we then propose a new model, which we dub PERF-Net (short for Pose Empowered RGB-Flow Net), which combines this new pose stream with the standard RGB and flow based input streams via distillation techniques and show that our model outperforms the state-of-the-art by a large margin in a number of human action recognition datasets while not requiring flow or pose to be explicitly computed at inference time. The proposed pose stream is also part of the winner solution of the ActivityNet Kinetics Challenge 2020.

연구 동기 및 목표

• 자신의 자세를 명시적으로 모달리티로 통합하는 것이 기존의 RGB 및 옵티컬 플로우 스트림을 초월하여 비디오 행동 인식에 보완적인 이점을 제공하는지 조사하는 것.
• 추론 시에 자세 정보가 필요 없도록 자세 정보를 활용하는 방법을 개발하여 효율적인 배포를 가능하게 하는 것.
• 3D CNN에서 자세 기반 주의를 강화하면서도 맥락적 단서를 유지하는 효과적인 자세 렌더링 기법을 탐색하는 것.
• 여러 모달리티(RGB, 플로우, 자세)에서 정복된 지식이 단일 스트림 RGB-only 모델을 초월하여 우수한 성능을 낼 수 있음을 입증하는 것.
• 정복된 모델이 하류 행동 인식 벤치마크에서 일반화 및 강건성을 얼마나 잘 유지하는지 검증하는 것.

제안 방법

• 자세 스트림은 인간 관절 히트맵을 과도하게 강조된 색상의 선으로 직접 각 RGB 프레임에 렌더링하여 공간적 및 맥락적 관계를 유지한다.
• 다중 교사 정복 프레임워크를 활용하여, RGB만으로 학습된 학생 모델이 RGB, 옵티컬 플로우, 자세 스트림으로 학습된 교사 모델들로부터 학습한다.
• 플로우 및 자세 스트림에 대해 별도의 정복 손실을 적용하여, 학생의 아키텍처를 수정하지 않고도 지식 전달을 가능하게 한다.
• 자기 게이팅 메커니즘을 도입하여 학습 중에 다양한 모달리티 간의 특징 중요도를 동적으로 조절한다.
• 최종 모델인 PERF-Net는 세 가지 다른 입력 모달리티에서 정복된 지식을 통해 SOTA 성능을 달성하는 단일 스트림 RGB-only 네트워크이다.
• 사전 학습은 Kinetics-600 및 Kinetics-700에서 수행되며, 이후 UCF-101 및 HMDB-51와 같은 하류 데이터셋에서 추가 정복 없이 미세조정을 수행한다.

실험 결과

연구 질문

• RQ1 자세 스트림을 별도의 입력 모달리티로 통합하는 것이 RGB 및 옵티컬 플로우 이외의 보완적 이점을 비디오 행동 인식에 제공하는가?
• RQ2 자세 및 플로우 스트림에서의 지식 정복이 추론 시에 해당 입력이 필요 없도록 단일 RGB-only 모델로 효과적으로 지식을 전달할 수 있는가?
• RQ3 자세 렌더링 방법의 선택(예: 초과 렌더링 대비 별도의 입력)이 모델 성능과 주의 패턴에 어떤 영향을 미치는가?
• RQ4 정복된 PERF-Net 모델이 클래스 수가 적거나 많은 하류 데이터셋으로 얼마나 잘 일반화되는가?
• RQ5 자세 스트림이 모호한 행동 클래스에서 특히 중요한 신체 부위에 대한 주의를 향상시키는가?

주요 결과

• PERF-Net는 Kinetics-600에서 82.0 top-1 정확도를 달성하여 최신 기술 수준의 단일 스트림 모델을 상당한 격차로 앞서간다.
• Kinetics-700에서는 82.0 top-1 정확도를 기록하여 더 많은 클래스와 데이터 복잡도가 존재하는 환경에서도 강력한 일반화 능력을 보여준다.
• UCF-101(98.6% 정확도) 및 HMDB-51(83.2% 정확도)에서 기존의 모든 단일 스트림 모델, 심지어 앙상블 방법보다도 뛰어난 성능을 보였다.
• 정성적 분석 결과, 자세 스트림은 전체 인간 신체에 대한 주의를 유도하여 '바벨 시트업'과 '벤치 프레스'와 같은 모호한 행동에서 보완적인 신호를 제공한다.
• 제거 실험 결과, RGB 프레임에 자세를 초과 렌더링하는 것이 핵심임을 확인하였으며, 별도의 자세 입력은 상당히 열 劣한 성능을 보였다.
• 정복된 모델는 하류 데이터셋으로의 일반화 능력이 뛰어나 UCF-101 및 HMDB-51에서 최신 기술 수준의 성능을 달성하며 최소한의 미세조정으로도 우수한 성능을 유지한다.