[논문 리뷰] A Structured Model For Action Detection

Yubo Zhang, Pavel Tokmakov외 2명|arXiv (Cornell University)|2018. 12. 09.

Human Pose and Action Recognition참고 문헌 60인용 수 4

한 줄 요약

이 논문은 액터 추적을 통한 장기적 시간적 모델링과 그래프 컨volution 네트워크를 통한 상호관계 추론을 통해 인간-물체 및 인간-인간 상호작용을 포착하는 구조적 딥러닝 모델을 제안한다. I3D 특징, 튜브렛 기반 추적, 소프트 관계 그래프를 사용하여 모델 아키텍처에 도메인 지식을 통합함으로써 AVA 데이터셋에서 22.2 mAP를 달성하여 이전 최고 성능보다 4.8% 향상시켰다.

ABSTRACT

A dominant paradigm for learning-based approaches in computer vision is training generic models, such as ResNet for image recognition, or I3D for video understanding, on large datasets and allowing them to discover the optimal representation for the problem at hand. While this is an obviously attractive approach, it is not applicable in all scenarios. We claim that action detection is one such challenging problem - the models that need to be trained are large, and labeled data is expensive to obtain. To address this limitation, we propose to incorporate domain knowledge into the structure of the model, simplifying optimization. In particular, we augment a standard I3D network with a tracking module to aggregate long term motion patterns, and use a graph convolutional network to reason about interactions between actors and objects. Evaluated on the challenging AVA dataset, the proposed approach improves over the I3D baseline by 5.5% mAP and over the state-of-the-art by 4.8% mAP.

연구 동기 및 목표

• 큰 모델과 비싼 애너테이션으로 인해 성능에 제약을 받는 비디오에서의 액션 검출 도전 과제를 해결한다.
• 단기적 운동 패tern을 초월해 장기적 시간적 의존성을 모델링하여 액션 검출을 향상시킨다.
• 액터와 물체 간의 상호작용 추론이 필요한 복잡한 액션의 인식을 향상시킨다.
• 개별 인스턴스 레이블링에 비용이 많이 들기 때문에 약한 감독 기반 객체 검출과 카테고리 무관 객체 제안을 통해 의존도를 낮춘다.
• 추적과 상호관계 그래프와 같은 아키텍처의 인덕티브 바이어스가 액션 검출 작업에서 성능 향상에 크게 기여함을 입증한다.

제안 방법

• 스пат리오토르피컬 표현을 캐릭터하기 위해 영상 프레임에서 I3D 특징을 추출한다.
• He 등 [17]의 기반으로 수정된 카테고리 무관 객체 검출 프레임워크를 사용하여 카테고리별 애너테이션 없이 액터와 물체를 국소화한다.
• 히우리스틱 트래커를 적용하여 각 액터에 대해 3초간 튜브렛—시간적 바운딩 박스 시퀀스—를 생성함으로써 장기적 운동을 모델링한다.
• 노드가 액터와 물체를 나타내고, 엣지는 잠재적인 인간-물체 또는 인간-인간 상호작용을 인코딩하는 액터 중심 그래프를 구축한다.
• 튜브렛과 객체 제안에 대해 I3D 특징을 풀링하여 노드 표현을 형성한 후, 그래프 컨볼루션 네트워크를 적용해 상호관계 특징을 추론한다.
• 엣지 수준의 특징에 대해 분류기를 훈련시켜 액션 레이블을 예측함으로써 약한 감독 기반의 객체 위치 정보를 활용한 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 튜브렛 추적을 통한 액터 운동의 명시적 모델링이 장시간 지속되는 액션에 대한 액션 검출 성능 향상에 기여하는가?
• RQ2 액터와 물체 간의 상호관계 추론을 통합할 경우 상호작용 기반 액션의 인식이 어떻게 향상되는가?
• RQ3 약한 감독 기반 객체 검출이 액션 검출에서 고비용의 인스턴스 수준 애너테이션에 대한 의존도를 어느 정도 줄일 수 있는가?
• RQ4 추적과 그래프 구조와 같은 아키텍처의 인덕티브 바이어스는 단지 엔드 투 엔드로 학습된 표현보다 더 나은 일반화 성능을 이끌어내는가?
• RQ5 제안된 구성 요소들이 개별적으로나 조합적으로 적용되었을 때 AVA 벤치마크에서 mAP 향상 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 모델은 AVA 검증 세트에서 22.2 mAP를 달성하여 이전 최고 성능(AQRN)보다 4.8% 향상되었다.
• 장기적 시간 모델링이 필요한 액션, 예를 들어 'drive', 'play musical instrument', 'hand clap' 등의 액션에서 성능 향상이 가장 크게 나타났다.
• 액터 튜브렛과 소프트 관계 그래프의 사용은 I3D 베이스라인 대비 5.5% mAP 향상을 이끌어내어 장기적 및 상호관계 모델링의 효과를 입증했다.
• 정성적 분석을 통해 모델이 공간-시간적 맥락을 정확히 포착하는 것으로 확인되었다: 포크 특징을 통합함으로써 'eat'와 'hold'를 구분하고, 이중 액터 상호작용을 모델링함으로써 'fight'를 정확히 식별했다.
• UCF-101-24에서 모델은 77.9 mAP를 기록하여 I3D 베이스라인(72.0 mAP)을 초월했지만, 백본으로 S3D를 사용하지 않아 최고 성능에 못 미쳤다.
• 아블레이션 스터디를 통해 튜브렛 추적과 상호관계 그래프 구성 요소가 모두 필수적이며, 특히 복잡한 운동과 물체 상호작용을 포함한 액션에서 가장 높은 성능 향상을 관찰했다.