[논문 리뷰] Building Unified Human Descriptors For Multi-Type Activity Recognition.

Ilaria Gori, J.K. Aggarwal외 1명|arXiv (Cornell University)|2015. 07. 09.

Human Pose and Action Recognition참고 문헌 33인용 수 6

한 줄 요약

이 논문은 관계 역사 이미지(Relation History Image, RHI) 기술자를 제안함으로써 다양한 활동 유형—단일 동작, 상호작용, 이고세트릭 활동—을 하나의 표현으로 통합하는 통합 프레임워크를 소개한다. 이 방법은 공동 활동 인식과 인간 연관을 가능하게 하여 새로 수집한 데이터셋과 공개 벤치마크에서 뛰어난 성능을 보이며, RHI는 복잡한 다중 유형 활동 장면에 대해 유연하고 효과적인 기술자로 입증된다.

ABSTRACT

Activity recognition is an important as well as a difficult task in computer vision. In the past years many types of activities -- single actions, two persons interactions or ego-centric activities to name a few -- have been analyzed. Nevertheless, researchers have always treated such types of activities separately. In this paper, we propose a new problem: labeling a complex scene where activities of different types happen in sequence or concurrently. We first present a new unified descriptor, called Relation History Image (RHI), which can be extracted from all the activity types we are interested in. We then propose a new method to recognize the activities and at the same time associate them to the humans who are performing them. Next, we evaluate our approach on a newly recorded dataset which is representative of the problem we are considering. Finally, we show the efficacy of the RHI descriptor on publicly available datasets performing extensive evaluations.

연구 동기 및 목표

• 복잡한 장면에서 단일 동작, 이인 상호작용, 이고세트릭 활동과 같은 다양한 인간 활동 유형을 동시에 인식하는 데 도전하는 것.
• 모든 활동 유형에 대해 일관된 단일 기술자로 다양한 활동 유형의 표현을 통합하여 공동 인식과 인간 연관을 가능하게 하는 것.
• 일련의 활동과 동시에 발생하는 활동을 하나의 프레임워크에서 처리할 수 있는 방법을 개발하여 활동 유형 간 일반화 능력을 향상시키는 것.
• 실제 세계의 복잡성을 반영하는 다중 유형 활동 장면에서의 복잡성에 대응하는 새로운 촬영 데이터셋을 기반으로 제안된 방법을 평가하는 것.

제안 방법

• 모든 활동 유형에 대해 시간에 따라 인간 신체 부위와 물체 간의 상관관계 특징을 캡처하는 통합된 시공간 기술자인 관계 역사 이미지(Relation History Image, RHI)를 제안한다.
• RHI 표현을 사용하여 활동 레이블을 동시에 예측하고 수행자와 연관짓는 인식 파이프라인을 설계한다.
• 다중 유형, 동시 및 순차적 활동이 포함된 새로운 데이터셋을 대상으로 모델을 엔드 투 엔드로 훈련 및 미세조정한다.
• 공개 데이터셋으로 RHI 기술자를 이식하고 평가하여 다양한 활동 영역에서의 일반화 능력과 강건성을 검증한다.

실험 결과

연구 질문

• RQ1 단일 통합 기술자가 단일 동작, 상호작용, 이고세트릭 활동을 포함한 다양한 활동 유형을 효과적으로 표현할 수 있는가?
• RQ2 통합 모델은 복잡한 장면에서 동시에 또는 순차적으로 발생하는 다수의 활동 유형을 얼마나 잘 인식하고 연관시킬 수 있는가?
• RQ3 RHI 기술자가 재학습 없이 다양한 데이터셋과 활동 영역으로 일반화되는가?
• RQ4 복잡한 다중 유형 활동 시나리오에서 공동 활동 인식과 인간 연관의 통합이 성능에 미치는 영향은 무엇인가?

주요 결과

• 관계 역사 이미지(Relation History Image, RHI) 기술자는 여러 공개 데이터셋에서 뛰어난 성능을 기록하여, 훈련 도메인 외부에서도 효과적이고 일반화 능력이 뛰어나다는 것을 입증한다.
• 제안된 방법은 순차적 및 동시 활동 유형이 모두 포함된 복잡한 장면에서 활동을 성공적으로 인식하고 수행자와 연관시키는 데 성공한다.
• 새로 촬영한 데이터셋에 대한 평가를 통해 모델이 겹치는 활동 패턴과 다양한 활동 패tern을 포함한 실제 세계의 복잡성까지 처리할 수 있음을 확인한다.
• 활동 유형 간 공유 표현을 활용함으로써 각 활동 카테고리별 별도의 모델이 필요 없도록 하여, 작업 특화 접근 방식보다 통합 프레임워크가 더 뛰어난 성능을 발휘한다.