[논문 리뷰] Event-based Vision for Early Prediction of Manipulation Actions

Daniel Deniz, Cornelia Fermüller외 3명|arXiv (Cornell University)|2023. 07. 26.

Advanced Memory and Neural ComputingEngineering인용 수 3

한 줄 요약

이 논문은 이벤트 기반 시각 시스템을 제안하며, 비동기 신경모방 센서 데이터로부터 실시간으로 조작 동작을 예측하기 위해 트랜스포머 아키텍처를 사용한다. 이는 이벤트의 시공간 역학을 활용하여 영상 기반 모델 대비 예측 지연을 2–3초 감소시키고, 세밀한 동작 인식에서 평균 7.6% 높은 정확도를 달성함으로써 최신 기술 수준을 확보한다.

ABSTRACT

Neuromorphic visual sensors are artificial retinas that output sequences of asynchronous events when brightness changes occur in the scene. These sensors offer many advantages including very high temporal resolution, no motion blur and smart data compression ideal for real-time processing. In this study, we introduce an event-based dataset on fine-grained manipulation actions and perform an experimental study on the use of transformers for action prediction with events. There is enormous interest in the fields of cognitive robotics and human-robot interaction on understanding and predicting human actions as early as possible. Early prediction allows anticipating complex stages for planning, enabling effective and real-time interaction. Our Transformer network uses events to predict manipulation actions as they occur, using online inference. The model succeeds at predicting actions early on, building up confidence over time and achieving state-of-the-art classification. Moreover, the attention-based transformer architecture allows us to study the role of the spatio-temporal patterns selected by the model. Our experiments show that the Transformer network captures action dynamic features outperforming video-based approaches and succeeding with scenarios where the differences between actions lie in very subtle cues. Finally, we release the new event dataset, which is the first in the literature for manipulation action recognition. Code will be available at https://github.com/DaniDeniz/EventVisionTransformer.

연구 동기 및 목표

• 실시간 인간-로봇 상호작용을 위해 이벤트 기반 시각을 활용해 인간의 조작 동작을 조기에 지속적으로 예측하는 것을 목적으로 한다.
• 지연이 효과적인 계획 수립과 협업을 방해하는 로봇 분야에서 저지연 동작 인식의 과제를 해결하는 것.
• 손-물체 상호작용에서 미세한 동적 신호를 포착할 수 있는 모델을 개발하는 것. 특히 동작이 운동 패턴에서만 다를 경우에 유의미하다.
• 세밀한 조작 동작 인식을 위한 첫 번째 공개 이벤트 기반 데이터셋을 제공하는 것.
• 행동 분류에 있어 운동 역학을 포착하는 데서 이벤트 기반 처리가 영상 기반 접근 방식보다 뛰어나다는 것을 입증하는 것.

제안 방법

• 이 방법은 이벤트 스트림에서 생성된 시간 표면을 처리하는 비전 트랜스포머(ViT) 아키텍처를 사용하여 온라인, 점진적 추론을 가능하게 한다.
• 이벤트는 고정 간격(예: 33 ms) 동안 시간 표면으로 집계되며, 이후 트랜스포머에 의해 시공간 특징 학습이 이루어진다.
• 모델은 온라인 예측을 수행하여 새로운 이벤트가 들어올 때마다 신뢰도 점수를 갱신함으로써 동작 완료 이전에 조기에 분류할 수 있다.
• 트랜스포머의 자기주의 메커니즘은 손의 운동 궤적이나 물체 상호작용 단계와 같은 주목할 만한 시공간 패턴을 식별한다.
• 이벤트 기반 트랜스포머와 동일한 동작 데이터셋에서 훈련된 영상 기반 트랜스포머를 비교하기 위해 추론 실험을 수행하였으며, 동일한 하드웨어와 계산 부하를 사용하였다.
• 주의 맵과 신뢰도 변화를 분석하여 모델 결정을 해석하고, 반복적인 운동이나 초기 손 자세와 같은 동적 신호에 네트워크가 어떻게 집중하는지 평가한다.

Figure 1: Example of online prediction of a manipulation action (“play with a stone”) using a Transformer architecture from a stream of asynchronous events. Event-wise processing provides a prediction with every new event. Top: action frames and continuous stream of events from the neuromorphic sens

실험 결과

연구 질문

• RQ1 트랜스포머 아키텍처를 활용한 이벤트 기반 시각은 영상 기반 방법에 비해 조작 동작을 더 이르고 정확하게 예측할 수 있는가?
• RQ2 트랜스포머 모델의 주의 메커니즘이 동작 예측에 관련된 시공간 패턴을 어떻게 식별하고 우선순위를 정하는가?
• RQ3 동일한 물체에서 조작 동작 간의 미세한 동적 차이를 인식하는 데서 이벤트 기반 센서가 프레임 기반 카메라보다 얼마나 뛰어나게 성능을 내는가?
• RQ4 배치 처리된 영상 세그먼트 대비 온라인 이벤트 기반 추론은 얼마나 지연을 감소시키는가?
• RQ5 사이클릭 동작 대비 이산적 동작에 따라 모델의 성능는 어떻게 변화하며, 각각에 대해 어떤 주의 패턴이 나타나는가?

주요 결과

• 이벤트 기반 트랜스포머는 영상 기반 트랜스포머보다 평균 7.6% 높은 정확도를 기록하여 세밀한 조작 동작 인식에서 뛰어난 성능을 입증하였다.
• 모델은 손-물체 접촉 후 약 0.7초 만에 정확한 동작 레이블에 80%의 신뢰도를 달성하였으며, 이는 영상 기반 모델보다 훨씬 이르게 이루어졌다.
• 온라인 추론은 전통적인 분류 방식 대비 예측 지연을 2–3초 감소시켜 실시간 인식-행동 루프를 가능하게 하였다.
• 주의 맵 분석 결과, 모델은 정적인 물체 외관이 아닌 운동 역학에 집중함을 확인하였으며, 예를 들어 흔들기나 찌르기와 같은 사이클릭 동작의 시작과 끝을 주로 식별하였다.
• 이산적 동작의 경우, 주의가 초기 손 자세와 조작 중 운동 궤적에 집중되었으며, 이는 모델이 동적 운동 신호에 민감하게 반응함을 시사한다.
• 유사한 계산 비용에도 불구하고, 이벤트 기반 모델은 1초당 최대 4,750개의 시간 표면을 처리하여 실시간을 초월하는 빠른 속도로 작동하며 예측 지연이 낮았다.

Figure 2: Pipeline of the proposed Mobilenet-based Transformer architecture for online inference. The event camera triggers asynchronous events which are accumulated into a Time Surface with exponential decay [ 36 ] , in this example with a constant $\tau=33ms$ . A Mobilenet architecture extracts sp