[논문 리뷰] Unsupervised Optical Flow Estimation with Dynamic Timing Representation for Spike Camera

Lujie Xia, Ziluo Ding외 6명|arXiv (Cornell University)|2023. 07. 12.

CCD and CMOS Imaging Sensors인용 수 4

한 줄 요약

이 논문은 다층 확장 컨볼루션과 계층 주의 모듈을 기반으로 한 동적 타이밍 표현을 사용하여 스파이크 카메라 데이터에 대한 비지도 광학 흐름 추정 방법인 USFlow을 제안한다. 이는 Δt=10과 Δt=20일 때 각각 PHM 데이터셋에서 SCFlow 대비 15% 및 19%의 오차 감소를 달성하며, 제안된 SSES 데이터셋을 통해 실제 및 합성된 극한 주행 시나리오에서 강력한 일반화 성능을 보여준다.

ABSTRACT

Efficiently selecting an appropriate spike stream data length to extract precise information is the key to the spike vision tasks. To address this issue, we propose a dynamic timing representation for spike streams. Based on multi-layers architecture, it applies dilated convolutions on temporal dimension to extract features on multi-temporal scales with few parameters. And we design layer attention to dynamically fuse these features. Moreover, we propose an unsupervised learning method for optical flow estimation in a spike-based manner to break the dependence on labeled data. In addition, to verify the robustness, we also build a spike-based synthetic validation dataset for extreme scenarios in autonomous driving, denoted as SSES dataset. It consists of various corner cases. Experiments show that our method can predict optical flow from spike streams in different high-speed scenes, including real scenes. For instance, our method gets $15\%$ and $19\%$ error reduction from the best spike-based work, SCFlow, in $Δt=10$ and $Δt=20$ respectively which are the same settings as the previous works.

연구 동기 및 목표

• 스파이크 카메라 데이터에서 레이블이 없는 진짜 지표가 없는 고속 영상에서 비지도 광학 흐름 추정의 과제를 해결하기 위해.
• 최소한의 파라미터로 스파이크 스트림에서 주목할 만한 시간적 특징을 효율적으로 추출할 수 있는 동적 타이밍 표현을 설계하기 위해.
• 스파이크 간격에서 빛의 세기를 추정하여 조명 일관성을 강제하는 스파이크 기반 비지도 손실을 개발하기 위해.
• 고속, 드문, 위험한 사건이 발생하는 극한 자율 주행 시나리오를 평가하기 위해 합성 데이터셋(SSES)을 구축하기 위해.
• 실제 데이터, 벤치마크 데이터셋(PHM), 그리고 제안된 SSES 데이터셋에서 최신 기술 수준의 성능을 입증하기 위해.

제안 방법

• 시간 차원을 따라 다층 확장 컨볼루션을 사용한 시간적 다중확장 표현(TMR)을 제안하여 다양한 수신장치를 가진 특징을 추출하고, 다중시간스케일 특징 학습을 가능하게 한다.
• 다양한 확장 레이어의 특징을 동적으로 융합하기 위해 계층 주의(LA) 모듈을 도입하여 불필요한 정보를 걸러내고 주목할 만한 시간 패턴을 강조한다.
• 스파이크 간격에서 빛의 세기를 추정하는 데 사용되는 두 가지 전략(다중 간격 기반 및 다중 시간 창 기반)을 활용한 새로운 비지도 손실을 설계하여, 다양한 운동 속도를 가진 영역에 적응한다.
• 추정된 빛의 세기를 사용하여 조도 일관성 손실을 계산함으로써, 진짜 지표가 없는 상태에서도 엔드 투 엔드 학습이 가능하도록 한다.
• CARLA 시뮬레이터를 사용하여 40K Hz 스파이크 프레임과 500 fps RGB 프레임을 포함한 고속 극한 주행 시나리오를 시뮬레이션하여 SSES 합성 데이터셋을 생성한다.
• SPIFT에서 학습하고 PHM 및 SSES에서 평가하며, 광학 흐름 추정을 위한 백본 네트워크로 PWC-Flow를 사용한다.

실험 결과

연구 질문

• RQ1 확장 컨볼루션 기반의 동적 타이밍 표현이 스파이크 스트림에서 다중스케일 시간적 특징을 효과적으로 추출하여 광학 흐름 추정에 기여할 수 있는가?
• RQ2 스파이크 기반 데이터에 비지도 학습을 어떻게 적용하여 진짜 지표 없이도 광학 흐름을 추정할 수 있는가?
• RQ3 스파이크 간격에서 빛의 세기를 추정하는 스파이크 기반 비지도 손실이 광학 흐름 추정 성능을 향상시킬 수 있는가?
• RQ4 제안된 방법이 실제 고속 영상 및 극한 자율 주행 시나리오에 잘 일반화되는가?
• RQ5 극한 주행 시나리오의 합성 데이터셋(SSES)이 스파이크 기반 광학 흐름 모델의 강건성 평가에 효과적으로 기여하는가?

주요 결과

• USFlow는 Δt=10일 때 PHM 데이터셋에서 평균 AEE 1.307, Δt=20일 때 2.413을 기록하며, 각각 기존 최신 기술 수준의 스파이크 기반 방법인 SCFlow 대비 15% 및 19%의 오차 감소를 달성한다.
• 절단 실험 결과, 동적 빛 세기 추정을 통한 제안된 비지도 손실이 변형된 버전 대비 성능 향상이 뚜렷하게 나타나며, 특히 다양한 운동 속도를 가진 영역 처리에 유리하다.
• 계층 주의 모듈은 성능 향상이 미미하지만 학습 안정성과 수렴 속도를 향상시키며, 더 나은 특징 선택에 기여한다.
• USFlow는 실제 데이터에서 강력한 일반화 성능을 보이며, 복잡한 고속 영상에서도 시각적으로 정확한 광학 흐름 예측을 생성한다.
• 제안된 SSES 데이터셋에서 USFlow는 Δt=10일 때 평균 AEE 3.122, Δt=20일 때 3.130을 기록하여 극한 주행 시나리오에서의 강건성을 입증한다.
• SSES 데이터셋은 다양한 고속 및 드문 사고 유발 시나리오를 효과적으로 캡처하여 극한 조건에서의 모델 강건성 평가를 가능하게 했다.