[논문 리뷰] PaStaNet: Toward Human Activity Knowledge Engine

Yong–Lu Li, Liang Xu외 8명|arXiv (Cornell University)|2020. 04. 02.

Human Pose and Action Recognition참고 문헌 61인용 수 11

한 줄 요약

이 논문은 손, 들고 있는 물체 등과 같은 세분화된 신체 부위 상태(PaSta)를 기반으로 한 대규모 인간 활동 지식 엔진인 PaStaNet을 소개한다. PaStaNet을 사전 훈련에 활용함으로써 저자들은 부위 수준의 표현 학습을 위한 Activity2Vec과 부위 상태에 대한 추론을 위한 PaSta-R을 제안하며, HICO, V-COCO 및 AVA 벤치마크에서 지도 학습 및 소수 샘플 전이 학습 모두에서 최신 기술 수준의 성능을 달성한다. 특히 일회성 HICO에서 mAP 향상 폭이 최대 13.9%에 이르렀다.

ABSTRACT

Existing image-based activity understanding methods mainly adopt direct mapping, i.e. from image to activity concepts, which may encounter performance bottleneck since the huge gap. In light of this, we propose a new path: infer human part states first and then reason out the activities based on part-level semantics. Human Body Part States (PaSta) are fine-grained action semantic tokens, e.g. , which can compose the activities and help us step toward human activity knowledge engine. To fully utilize the power of PaSta, we build a large-scale knowledge base PaStaNet, which contains 7M+ PaSta annotations. And two corresponding models are proposed: first, we design a model named Activity2Vec to extract PaSta features, which aim to be general representations for various activities. Second, we use a PaSta-based Reasoning method to infer activities. Promoted by PaStaNet, our method achieves significant improvements, e.g. 6.4 and 13.9 mAP on full and one-shot sets of HICO in supervised learning, and 3.2 and 4.2 mAP on V-COCO and images-based AVA in transfer learning. Code and data are available at http://hake-mvig.cn/.

연구 동기 및 목표

• 이미지 기반 활동 이해에서 픽셀과 고수준 활동 개념 사이의 큰 의미적 갭으로 인한 성능 저하 문제를 해결하기 위해.
• 일반화 가능한 활동 이해를 위한 기초가 되는 대규모 세분화된 인간 신체 부위 상태(PaSta) 지식 기반을 구축하기 위해.
• 부위 수준 의미 정보와 전이 학습을 활용한 재사용 가능하고 해석 가능한 활동 인식 프레임워크를 개발하기 위해.
• PaStaNet으로부터의 지식 정제를 통해 소수 샘플 및 제로 샘플 설정에서의 성능 향상을 달성하기 위해.

제안 방법

• 118,000장의 이미지, 285,000명의 인물, 724,000개의 활동을 포함하는 700만 건 이상의 인간 신체 부위 상태 애너테이션을 가진 대규모 지식 기반인 PaStaNet을 구축한다.
• 비전 특징과 BERT로 인코딩된 PaSta 삼중항(part, verb, object)을 결합하여 일반적인 부위 수준의 의미 표현을 추출하는 Activity2Vec을 설계한다.
• 인스턴스와 부위 상태 간의 그래프를 구성하여 인스턴스 수준 및 부위 수준의 하위그래프 상태를 활용해 전체 활동을 추론하는 계층적 추론 모델인 PaSta-R을 제안한다.
• PaStaNet을 전이 학습의 사전 훈련 소스로 활용하며, 활동 이해 작업에 대해 최종 레이어만 미세조정하고 Activity2Vec의 가중치는 동결한다.
• 최신 기술 수준의 모델과 후기 융합을 통해 부위 수준 추론과 인스턴스 수준 검출을 융합하여 성능 향상을 도모한다.
• 학습에 코사인 감쇠와 재시작을 적용한 SGD를 사용하며, 사전 훈련과 미세조정 간 도메인 이탈을 방지하기 위해 철저한 데이터 분할 전략을 수립한다.

실험 결과

연구 질문

• RQ1 세분화된 인간 신체 부위 상태(PaSta)는 일반화 가능한 인간 활동 지식 엔진을 구축하기 위한 재사용 가능하고 해석 가능한 의미 토큰으로 기능할 수 있는가?
• RQ2 PaStaNet을 통한 부위 수준 표현 학습은 소수 샘플 또는 제로 샘플 조건에서 이미지 기반 활동 이해 성능 향상에 기여하는가?
• RQ3 PaSta 기반 추론은 정확도, 전이 가능성, 해석 가능성 측면에서 직접적인 픽셀에서 활동으로의 매핑 방식을 초월하는가?
• RQ4 PaStaNet은 도메인 갭이 존재하는 하류 활동 인식 작업에 대해 사전 훈련 소스로 얼마나 효과적인가?

주요 결과

• 지도 학습에서 HICO-DET 전체 세트에서 6.4 mAP 향상, 일회성 세트에서 13.9 mAP 향상 성과를 기록한다.
• 전이 학습에서 V-COCO에서는 3.2 mAP 향상, 이미지 기반 AVA에서는 4.2 mAP 향상으로 강력한 일반화 능력을 입증한다.
• 제거 실험 결과, 부위 주의 메커니즘과 BERT로 인코딩된 PaSta 특징이 핵심임을 확인하였으며, 부위 주의를 제거할 경우 성능이 0.21 mAP 하락한다.
• PaSta-BERT를 Word2Vec 또는 GloVe로 대체하면 성능 저하가 발생하지만, 전체 문장을 입력으로 사용할 경우 약 0.14 mAP 향상(22.26 mAP)을 기록한다.
• 도메인 이탈에 매우 강건하며, 정적 이미지로 훈련하고 비디오 유사 데이터로 테스트함에도 불구하고 HICO-DET에서 3.25 mAP 향상 성과를 기록한다.
• 후기 융합을 통해 인스턴스 수준 모델과 결합하더라도 PaSta-R은 최신 기술 수준의 성능을 달성하여 부위 수준 추론의 가치를 입증한다.