[논문 리뷰] When Vehicles See Pedestrians with Phones:A Multi-Cue Framework for Recognizing Phone-based Activities of Pedestrians

Akshay Rangesh, Mohan M. Trivedi|arXiv (Cornell University)|2018. 01. 24.

Human-Automation Interaction and Safety인용 수 4

한 줄 요약

이 논문은 체형 자세 추정, 시선 추적, 예시 서포트 벡터 머신(ESVM)을 통한 객체 레이블 전이를 활용하여 스마트폰 관련 보행자 활동—문자 메시지 작성, 통화, 또는 방해 없음—을 인식하기 위한 시각 기반 다중 단서 프레임워크를 제안한다. 이 방법은 비디오 시퀀스 전반에서 효율적이고 정확한 자세 추적을 위해 가우시안 프로세스 동역학 모델(GPDM) 기반 입자 필터를 통합하여 높은 정확도를 달성하면서도 낮은 계산 비용을 요구한다. 이는 새로운 주석이 부여된 데이터셋에서 성취된 바이다.

ABSTRACT

The intelligent vehicle community has devoted considerable efforts to model driver behavior, and in particular to detect and overcome driver distraction in an effort to reduce accidents caused by driver negligence. However, as the domain increasingly shifts towards autonomous and semi-autonomous solutions, the driver is no longer integral to the decision making process, indicating a need to refocus efforts elsewhere. To this end, we propose to study pedestrian distraction instead. In particular, we focus on detecting pedestrians who are engaged in secondary activities involving their cellphones and similar handheld multimedia devices from a purely vision-based standpoint. To achieve this objective, we propose a pipeline incorporating articulated human pose estimation, followed by a soft object label transfer from an ensemble of exemplar SVMs trained on the nearest neighbors in pose feature space. We additionally incorporate head gaze features and prior pose information to carry out cellphone related pedestrian activity recognition. Finally, we offer a method to reliably track the articulated pose of a pedestrian through a sequence of images using a particle filter with a Gaussian Process Dynamical Model (GPDM), which can then be used to estimate sequentially varying activity scores at a very low computational cost. The entire framework is fast (especially for sequential data) and accurate, and easily extensible to include other secondary activities and sources of distraction.

연구 동기 및 목표

• 스마트폰 사용과 관련된 보행자 사망 사례의 증가를 다루기 위해, 특히 점점 더 자율적인 차량 환경에서의 영향을 고려한다.
• 실시간으로 작동하는, 시각 기반의 시스템을 개발하여 보행자 방해 행동을 세 가지 범주—문자 메시지 작성, 통화, 또는 보조 활동 없음—으로 분류한다.
• 자세, 시선, 손-객체 상호작용 등의 다중 모odal 단서를 활용하여 활동 인식의 정확도와 효율성을 향상시킨다.
• 희소 자세 측정치를 기반으로 한 GPDM 기반 입자 필터를 통해 보행자 자세의 강력하고 저비용의 순차적 추적을 가능하게 한다.

제안 방법

• 단일 이미지에서 체형 자세를 추정하기 위해 딥 컨volution 네트워크(ConvNet)를 사용하여 머리, 목, 어깨, 팔꿈치, 손목 등의 관절 좌표를 제공한다.
• 가까운 이웃을 기반으로 한 자세 특징 공간에서 사전에 학습된 예시 서포트 벡터 머신(ESVM)을 사용하여 손-객체 레이블(예: 스마트폰 존재 여부)을 테스트 대상 보행자에게 전이한다.
• 머리 시선 방향은 사전에 학습된 ConvNet을 사용하여 추정하여 스마트폰 사용을 탐지하는 데 추가적인 단서를 제공한다.
• 가우시안 프로세스 동역학 모델(GPDM)을 입자 필터 프레임워크에 통합하여 시간적 동역학을 모델링하고 자세 추적의 강건성을 향상시킨다.
• 자세, 시선, 객체 단서로부터 유도된 활동 점수를 후기 융합(SVM)을 통해 융합하여 최종 분류 결정을 내린다.
• 시스템은 ESVM 앙상블을 50 프레임마다만 업데이트하여 계산 부담을 줄이면서도 정확도를 유지한다.

실험 결과

연구 질문

• RQ1 다중 단서 특징을 활용하여 시각 기반 시스템이 문자 메시지 작성, 통화, 또는 활동 없음으로 나누어진 보행자 방해 행동을 신뢰성 있게 탐지하고 분류할 수 있는가?
• RQ2 자세, 시선, 객체 상호작용 단서를 융합하는 것이 단일 단서 접근 방식에 비해 분류 정확도 향상에 얼마나 효과적인가?
• RQ3 GPDM 기반 입자 필터는 순차적 보행자 영상 분석에서 자세 추적 정확도를 향상시키고 계산 비용을 줄이는 데 어느 정도 기여하는가?
• RQ4 실생활 영상에서 보행자 행동과 시야 각도의 동적 변화가 발생할 경우, 제안된 프레임워크는 어떤 성능을 보이는가?

주요 결과

• 제안된 프레임워크는 높은 정확도로 보행자 활동을 분류하며, 빠른 활동 전환 상황에서도 네 개의 테스트 시퀀스 전반에 걸쳐 예측 레이블이 실제 레이블과 매우 유사하게 일치한다.
• GPDM 기반 입자 필터는 측정치 업데이트 주기가 5 프레임(5 Hz)으로도 신뢰할 수 있는 자세 추적을 유지하며, 머리에 대해 PCK 점수 0.980, 목에 대해 0.975를 기록한다.
• 5 Hz에서의 측정치로도 전체 프레임 추적 성능과 유사한 결과를 얻었으며, 이는 희소 자세 추정만으로도 강력한 성능이 가능함을 시사한다.
• ESVM 앙상블을 50 프레임마다만 업데이트함으로써 계산 비용을 줄였지만, 높은 분류 정확도를 유지하였다.
• 프레임워크는 뛰어난 일반화 및 확장성을 보이며, 더 다양한 훈련 데이터가 추가될수록 성능 향상이 기대된다.
• 자세, 시선, 객체 상호작용 등의 다중 단서를 효과적으로 융합하여 복잡한 실생활 시나리오에서도 일관되고 정확한 활동 예측을 수행한다.