[논문 리뷰] Back to Event Basics: Self-Supervised Learning of Image Reconstruction for Event Cameras via Photometric Constancy

Federico Paredes-Vallés, Guido de Croon|arXiv (Cornell University)|2020. 09. 17.

Advanced Memory and Neural Computing참고 문헌 37인용 수 15

한 줄 요약

이 논문은 광도 일관성과 추정된 광학 흐름을 사용하여 이벤트 카메라 데이터에서 강도 프레임을 복원하기 위한 자기지도 학습 프레임워크를 제안한다. 이는 지도 학습 데이터나 합성 데이터가 필요로 하지 않으며, 실제 이벤트 데이터에서 상태최저 수준의 복원 품질을 달성한다. 이는 지도 학습 방법과 유사한 성능을 보이며, 고속 추론을 위한 경량 광학 흐름 네트워크인 FireFlowNet을 도입한다.

ABSTRACT

Event cameras are novel vision sensors that sample, in an asynchronous fashion, brightness increments with low latency and high temporal resolution. The resulting streams of events are of high value by themselves, especially for high speed motion estimation. However, a growing body of work has also focused on the reconstruction of intensity frames from the events, as this allows bridging the gap with the existing literature on appearance- and frame-based computer vision. Recent work has mostly approached this problem using neural networks trained with synthetic, ground-truth data. In this work we approach, for the first time, the intensity reconstruction problem from a self-supervised learning perspective. Our method, which leverages the knowledge of the inner workings of event cameras, combines estimated optical flow and the event-based photometric constancy to train neural networks without the need for any ground-truth or synthetic data. Results across multiple datasets show that the performance of the proposed self-supervised approach is in line with the state-of-the-art. Additionally, we propose a novel, lightweight neural network for optical flow estimation that achieves high speed inference with only a minor drop in performance.

연구 동기 및 목표

• 기존 이미지 복원 방법이 합성 데이터나 지도 학습 데이터에 의존하는 문제를 해결하기 위해 자기지도 학습 프레임워크를 제안한다.
• 이벤트 카메라의 물리적 원리를 활용하여, 특히 광도 일관성 원리를 통해 신경망을 실제 이벤트 데이터에 직접 학습시킨다.
• 이벤트 기반 시각에 특화된 경량 광학 흐름 네트워크를 개발하여 고속 추론을 실현한다.
• 다양한 실제 데이터셋을 대상으로 정량적 및 정성적 평가를 통해 자기지도 프레임워크의 유효성을 검증한다.

제안 방법

• 프레임워크는 두 개의 신경망을 사용한다: 광학 흐름 추정을 위한 FlowNet과 강도 프레임 복원을 위한 ReconNet이며, 모두 자기지도 학습 방식으로 훈련된다.
• FlowNet은 지도 학습 없이도 흐름 추정 정확도를 향상시키기 위해 대trast 최대화를 목표로 하는 대체 손실 함수를 사용하여 훈련된다.
• ReconNet은 이벤트 기반 광도 일관성 제약 조건을 강제 적용하여 광학 흐름과 밝기 변화 간의 관계를 연결함으로써 강도 프레임을 복원한다.
• 이 방법은 두 네트워크를 통해 오차 역전파를 이용해 흐름과 복원을 동시에 최적화하며, 이벤트와 흐름의 일관성에만 의존한다.
• 이벤트 데이터에 최적화된 새로운 경량 아키텍처인 FireFlowNet이 제안되었으며, FireNet을 영감으로 삼았지만 이벤트 데이터에 특화되어 있다.
• 훈련 과정은 합성 데이터나 지도 학습 강도 프레임이 전혀 없이 실제 이벤트 스트림만을 사용하며, 광도 일관성 원리에만 의존한다.

실험 결과

연구 질문

• RQ1 지도 학습 데이터나 합성 데이터 없이도 자기지도 학습을 통해 이벤트 카메라에서 이미지 복원이 가능할 수 있는가?
• RQ2 광도 일관성에 기반한 자기지도 학습 방법은 최신 지도 학습 방법과 비교해 얼마나 우수한 성능을 보이는가?
• RQ3 경량 신경망을 활용한 광학 흐름 추정이 이벤트 데이터에서 정확도를 유지하면서도 고속 추론을 달성할 수 있는가?
• RQ4 실제 환경에서 자기지도 복원 프레임워크의 주요 실패 원인은 무엇인가?

주요 결과

• 제안된 자기지도 학습 방법은 지도 학습 데이터나 합성 데이터 없이도 최신 지도 학습 방법과 동등한 복원 품질을 달성한다.
• 다양한 데이터셋에서의 정량적 평가 지표(MSE, SSIM, LPIPS)는 ReconNet의 다양한 변형이 E2VID와 FireNet과 유사한 성능을 보임을 보여주며, 인지적 유사도(LPIPS)에서 다소 낮은 성능을 보이며 인지적 최적화가 부족함을 나타낸다.
• 광학 흐름 추정이 열악할 경우 복원 이미지에 운동 블러가 발생함을 관찰하여, 블러 제거 성능이 흐름 정확도에 의존함을 확인한다.
• 경계 정보가 부족한 넓은 무늬 없는 영역에서는 가로지르기 아티팩트가 나타나며, 이는 이벤트 기반 복원에서 알려진 과제이다.
• 초기 밝기 $L_0$ 가 알려져 있지 않은 경우 복원이 비일관성이 발생함을 확인하여, 밝기 정보 사전 지식이 없을 경우의 한계를 드러낸다.
• FireFlowNet는 크기가 큰 네트워크와 비교해 성능 저하가 미미한 편이지만 고속 추론을 가능하게 하여 효율성과 정확도를 동시에 확보함을 입증한다.