[논문 리뷰] Long-Lived Accurate Keypoints in Event Streams

Philippe Chiberre, Etienne Pérot외 2명|arXiv (Cornell University)|2022. 09. 21.

Anomaly Detection Techniques and Applications인용 수 6

한 줄 요약

이 논문은 합성 영상 시퀀스에서 왜곡된 키포인트 레이블을 훈련 데이터로 사용하고, 시간이 경과한 열매지ap을 통해 다단계 트랙토리 예측을 수행함으로써 장기적이고 고정밀한 키포인트 검출 및 추적을 위한 순환 딥러닝 접근법을 제안한다. 이 방법은 기준 데이터셋에서 이전 최고 성능 기준보다 트랙 수명이 3배 길고 정확도가 거의 2배 높다.

ABSTRACT

We present a novel end-to-end approach to keypoint detection and tracking in an event stream that provides better precision and much longer keypoint tracks than previous methods. This is made possible by two contributions working together. First, we propose a simple procedure to generate stable keypoint labels, which we use to train a recurrent architecture. This training data results in detections that are very consistent over time. Moreover, we observe that previous methods for keypoint detection work on a representation (such as the time surface) that integrates events over a period of time. Since this integration is required, we claim it is better to predict the keypoints' trajectories for the time period rather than single locations, as done in previous approaches. We predict these trajectories in the form of a series of heatmaps for the integration time period. This improves the keypoint localization. Our architecture can also be kept very simple, which results in very fast inference times. We demonstrate our approach on the HVGA ATIS Corner dataset as well as "The Event-Camera Dataset and Simulator" dataset, and show it results in keypoint tracks that are three times longer and nearly twice as accurate as the best previous state-of-the-art methods. We believe our approach can be generalized to other event-based camera problems, and we release our source code to encourage other authors to explore it.

연구 동기 및 목표

• 이벤트 기반 카메라에서 발생하는 노이즈가 많고 비동기적인 이벤트 스트림에서 안정적이고 장기적인 키포인트를 검출하는 문제를 해결하기 위해.
• 단일 정적 위치가 아니라 시간에 따라 변화하는 트랙토리를 예측함으로써 키포인트 정위치 추정 정확도를 향상시키기 위해.
• 일관된 검출을 통해 단순한 최근접 이웃 매칭 전략을 사용해 강력하고 장기적인 추적을 가능하게 하기 위해.
• 경량 순환 아키텍처를 통해 계산 오버헤드를 줄이고도 높은 성능를 유지하기 위해.
• 평면 호모그래피에서 훈련되었음에도 불구하고 3D 시나리오로의 일반화를 가능하게 하기 위해.

제안 방법

• 합성 훈련 데이터는 COCO 데이터셋 이미지를 호모그래피로 왜곡하여 운동을 시뮬레이션하고, 이를 이벤트 스트림으로 변환함으로써 생성된다.
• 키포인트 레이블은 원본 이미지에서 하리스 코너 검출을 통해 유도되며, 이는 동일하게 왜곡되어 시간적으로 일관성을 확보한다.
• 경량 순환 신경망이 이벤트 통합 창 내의 연속된 시간 단계에 해당하는 열매지ap의 시퀀스를 예측한다.
• 이 열매지ap의 局부 최댓값은 정밀하고 시간적으로 일관된 키포인트 위치를 제공하여 정위치 추정 정확도를 향상시킨다.
• 검출 결과 간의 단순한 최근접 이웃 매칭을 통해 키포인트 트랙이 형성되며, 이는 장기적인 트랙 수명을 가능하게 한다.
• 아키텍처는 계산적으로 효율적이며(26,000 파라미터 이하), GTX 1080에서 7ms 내외로 실행되어 실시간 응용에 적합하다.

실험 결과

연구 질문

• RQ1 합성 영상 시퀀스에서 유도된 왜곡된 키포인트 레이블을 훈련 데이터로 사용하면 이벤트 기반 키포인트 검출에서 시간적 일관성이 향상되는가?
• RQ2 단일 위치가 아니라 시간에 따라 연속된 여러 키포인트 위치를 예측할 경우, 더 정확하고 안정적인 검출이 이루어지는가?
• RQ3 단순하고 가벼운 순환 아키텍처가 이벤트 기반 키포인트 검출에서 뛰어난 트랙 수명과 정위치 정확도를 달성할 수 있는가?
• RQ4 평면 영상에서 훈련된 모델이 실제 세계의 이벤트 기반 데이터셋에서 3D 시나리오로 잘 일반화되는가?
• RQ5 다단계 열매지ap 예측이 재투영 오차를 줄이는데 얼마나 기여하는가? 동시에 저지연 추론을 유지할 수 있는가?

주요 결과

• HVGA ATIS Corner 데이터셋에서, $δ t$-homography 재투영 오차가 $δ t = 200$ ms일 때 1.84 픽셀로 감소하여 이전 최고 성능 방법의 거의 반 수준이었다.
• 트랙 수명 지표는 15.7초에 도달하여 이전 최고 성능 방법(Arc)의 0.91초보다 3배 이상 길었다.
• 이벤트 카메라 데이터셋에서 상대 정밀도 1.03과 상대 재확인도 2.17을 기록하여 luvHarris를 포함한 모든 이전 방법을 능가했다.
• GTX 1080 GPU에서 7ms 내외로 실행되며, 파라미터 수는 26,000개 미만으로 고 이벤트 레이트에서도 실시간 동작이 가능했다.
• 시각적 결과는 eHarris, eFast, Arc, luvHarris와 비교해 훨씬 더 길고 부드럽고 연속적인 트랙을 보여주었다.
• 훈련 시 평면 변환에서 이루어졌음에도 불구하고, 다른 센서 데이터셋에서의 뛰어난 성능을 통해 3D 시나리오로의 일반화 능력이 뛰어나다는 게 입증되었다.