[논문 리뷰] A3D: Adaptive 3D Networks for Video Action Recognition

Sijie Zhu, Taojiannan Yang외 2명|arXiv (Cornell University)|2020. 11. 24.

Human Pose and Action Recognition참고 문헌 46인용 수 10

한 줄 요약

A3D는 복수의 공간-시간-폭 구성에 대해 공동으로 훈련함으로써 추론 시 다양한 계산 제약 조건에 동적으로 적응하는 단일 적응형 3D 네트워크를 도입한다. 공간-시간 분산을 통해 구성 간 지식 전이를 가능하게 하여, 동일한 예산 하에서 별도로 훈련된 모델보다 뛰어난 정확도를 달성하며, 특히 Kinetics-400에서 저성능 컴퓨팅 환경에서 두각을 나타낸다.

ABSTRACT

This paper presents A3D, an adaptive 3D network that can infer at a wide range of computational constraints with one-time training. Instead of training multiple models in a grid-search manner, it generates good configurations by trading off between network width and spatio-temporal resolution. Furthermore, the computation cost can be adapted after the model is deployed to meet variable constraints, for example, on edge devices. Even under the same computational constraints, the performance of our adaptive networks can be significantly boosted over the baseline counterparts by the mutual training along three dimensions. When a multiple pathway framework, e.g. SlowFast, is adopted, our adaptive method encourages a better trade-off between pathways than manual designs. Extensive experiments on the Kinetics dataset show the effectiveness of the proposed framework. The performance gain is also verified to transfer well between datasets and tasks. Code will be made available.

연구 동기 및 목표

• 변동하는 계산 예산을 가진 자원 제약이 있는 엣지 디바이스에 3D 비디오 행동 인식 모델을 구현하는 도전에 대응한다.
• 다양한 계산 제약 조건에 맞게 별도로 훈련하고 배포하는 여러 모델이 필요 없도록 한다.
• 다양한 스케일에서의 훈련을 통해 상호 지식 학습을 가능하게 하여 모든 구성에서 모델 성능을 향상시킨다.
• 재훈련 없이 추론 시 동적으로 적응할 수 있도록 하여 엣지 디바이스에서 실시간 배포를 지원한다.
• 하류 작업으로의 표현 전이 능력과 데이터셋 간 일반화 능력을 입증한다.

제안 방법

• 각 훈련 반복에서 입력 공간 해상도, 시간 지속 시간, 네트워크 폭의 다양한 조합을 무작위로 샘플링하여 단일 A3D 모델을 훈련한다.
• 고해상도 구성에서 저해상도 구성으로 지식을 전이하기 위해 공간-시간 분산(Spatial-Temporal Distillation, STD)을 도입하여 다양한 스케일 간 특징 학습을 향상시킨다.
• 전체 해상도 네트워크를 주 분기로 유지하면서, 이를 공간적 및 시간적 입력이 감소한 하위 네트워크로 분산시킨다.
• SlowFast를 포함한 여러 아키텍처에 이 프레임워크를 적용하여 수동 설계 없이 경로웨이트 트레이드오프를 향상시킨다.
• 구성 간 엔드 투 엔드 최적화를 지원하는 통합 훈련 파라다임을 사용하여 그리드 서치 방법 대비 훈련 비용을 절감한다.
• 동일한 모델에서 런타임 추론을 위해 어떤 구성이라도 지원하여 변화하는 하드웨어 제약 조건에 동적으로 적응할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 재훈련 없이도 단일 3D 비디오 인식 모델이 다양한 계산 예산 범위에서 효율성-정확도 트레이드오프를 효과적으로 달성할 수 있는가?
• RQ2 다양한 공간-시간-폭 구성에서 공동 훈련을 수행할 경우, 각 구성을 별도로 훈련하는 것보다 성능 향상이 이루어지는가?
• RQ3 다른 해상도 간 지식 분산이 저성능 컴퓨팅 환경에서의 특징 표현을 향상시킬 수 있는가?
• RQ4 A3D는 X3D나 SlowFast와 같은 기존 방법과 비교해 정확도, 효율성, 배포 유연성 측면에서 어떻게 성능을 내는가?
• RQ5 A3D에서 학습된 표현이 다른 데이터셋과 작업(예: 행동 검출)으로 전이되는 정도는 어느 정도인가?

주요 결과

• A3D는 SlowFast-4×16와 동일한 36.1 GFLOPs × 30 views 제약 조건 하에서 Kinetics-400에서 75.7%의 top-1 정확도를 달성했으며, 기준 모델인 SlowFast-4×16-P(75.6%)와 동일한 구성에서 훈련된 별도의 A3D-Slow-8×8-[0.06,1](75.6%)를 초월한다.
• 저성능 컴퓨팅 환경(예: 원래 계산의 0.35×)에서 A3D-SlowFast-4×16-[0.06,1]는 단지 12.4 GFLOPs × 30 views로 74.3%의 top-1 정확도를 기록했으며, 동일한 계산 수준에서 재현된 SlowFast-2×32-P(73.5%)보다 뚜렷이 뛰어나다.
• A3D-SlowFast-4×16-[0.06,1] 모델은 0.6× 계산(21.3 GFLOPs × 30 views)에서도 75.0%의 top-1 정확도를 유지하지만, 기준 모델인 SlowFast-2×32-P는 동일한 제약 조건에서 73.5%로 떨어진다.
• A3D-Slow-8×8-[0.06,1]는 75.6%의 top-1 정확도를 기록했으며, 별도로 훈련된 Slow-8×8-P(74.8%)와 다중 해상도 기준 모델(73.4%)을 모두 초월한다.
• 서로 다른 구성 간 상호 훈련과 분산 덕분에 저성능 컴퓨팅 환경에서 정확도 향상 효과가 특히 두드러지며, 별도로 훈련된 모델 대비 최대 1.1%의 정확도 향상을 달성한다.
• Charade-STA 및 AVA 데이터셋에서의 전이 결과는 A3D가 학습한 표현이 다양한 데이터셋과 작업으로 잘 일반화됨을 확인하며, 학습된 특징의 강건성을 입증한다.