[논문 리뷰] Cubes3D: Neural Network based Optical Flow in Omnidirectional Image Scenes

André Apitzsch, Roman Seidel외 1명|arXiv (Cornell University)|2018. 04. 24.

Advanced Vision and Imaging참고 문헌 20인용 수 5

한 줄 요약

이 논문은 수정된 FlowNet 2.0 아키텍처를 사용하여 옴니디렉셔널 이미지에서 광학 흐름을 추정하는 Cubes3D를 제안한다. 물결무늬 투영 방식의 이격된 텍스처를 가진 입체 큐브를 사용해 합성된 진정한 지표를 생성하며, 텍스처가 전경 흐름 오차를 크게 감소시킴을 입증한다. FlowNet2-SD를 사용할 경우 전경 흐름 오차 비율이 4.75%로, 비텍스처 물체의 22.85%보다 훨씬 낮다.

ABSTRACT

Optical flow estimation with convolutional neural networks (CNNs) has recently solved various tasks of computer vision successfully. In this paper we adapt a state-of-the-art approach for optical flow estimation to omnidirectional images. We investigate CNN architectures to determine high motion variations caused by the geometry of fish-eye images. Further we determine the qualitative influence of texture on the non-rigid object to the motion vectors. For evaluation of the results we create ground truth motion fields synthetically. The ground truth contains cubes with static background. We test variations of pre-trained FlowNet 2.0 architectures by indicating common error metrics. We generate competitive results for the motion of the foreground with inhomogeneous texture on the moving object.

연구 동기 및 목표

• 표준 CNN 기반 방법이 기하학적 왜곡으로 인해 어려움을 겪는 옴니디렉셔널(물결무늬) 이미지 시퀀스에서 광학 흐름 추정 문제를 해결하기 위해.
• 물결무늬 카메라의 등거리 투영 모델이 유도하는 극한의 운동 변화 상황에서 CNN 아키텍처의 성능을 조사하기 위해.
• 비강성이고 움직이는 전경 물체에서 물체의 텍스처가 광학 흐름 정확도에 미치는 영향을 평가하기 위해.
• 옴니디렉셔널 환경에서의 흐름 추정 평가를 위한 진정한 운동장에 기반한 합성 벤치마크 데이터셋을 생성하기 위해.
• 물결무늬 이미지에서 큰 이동과 노이즈 영역을 처리하는 능력에 있어 사전 학습된 FlowNet 2.0 변종 간 비교를 위해.

제안 방법

• 등거리 투영 방식을 사용하는 물결무늬 이미지 쌍(스테레오 유사)에 FlowNet 2.0 아키텍처를 적용하여 옴니디렉셔널 이미지 데이터에 적합하도록 조정한다.
• 반경 방향 거리 ρ(θ) = θ인 등거리 투영을 사용하는 물결무늬 카메라 모델을 적용하여 3차원 장면 점을 2차원 이미지 좌표로 매핑한다.
• 기하학적 변환을 통해 픽셀 이동량을 계산함으로써, 정적 배경과 함께 3차원 큐브를 시뮬레이션하여 진정한 지표 광학 흐름을 합성한다.
• 표준 광학 흐름 오차 측정 지표를 적용: 평균 종점 오차(AEE), 그리고 3 픽셀 초과 운동에 대한 오차 비율(Fl-bg, Fl-fg, Fl-all).
• 다양한 운동 패tern과 텍스처를 가진 합성 시퀀스에서 표준 FlowNet 2.0 변종(FN2, FN2-SD, FN2-CSS-ft-sd)을 훈련 및 평가한다.
• 색상 기반 흐름 시각화와 정량적 비교를 통해 성능 평가를 수행하며, 특히 고이동 및 저텍스처 영역에서의 성능을 중점적으로 분석한다.

실험 결과

연구 질문

• RQ1 기하학적 왜곡이 심한 옴니디렉셔널 이미지에 표준 FlowNet 2.0 아키텍처를 적용했을 때의 성능은 어떠한가?
• RQ2 물결무늬 투영 하에서 움직이는 전경 영역에서 물체의 텍스처가 광학 흐름 추정 정확도에 어떤 영향을 미치는가?
• RQ3 다양한 FlowNet 2.0 변종(FN2-SD, FN2-CSS-ft-sd 등)이 물결무늬 투영으로 인한 큰 이동량을 어떻게 다루는가?
• RQ4 기하학적 기하체(큐브)를 사용한 합성 진정 지표가 옴니디렉셔널 환경에서의 광학 흐름 평가를 위한 신뢰할 수 있는 벤치마크로 기능할 수 있는가?
• RQ5 광학 흐름 추정에서 주로 나타나는 오류 패턴(예: 흐림, 노이즈)은 운동 유형과 텍스처에 따라 어떻게 변화하는가?

주요 결과

• FlowNet2-SD 변종이 전경 오차 비율을 4.75%로 가장 낮게 기록하여, 비텍스처 큐브에 비해 표준 FlowNet2(22.85%)보다 뚜렷하게 뛰어난 성능을 보였다.
• 움직이는 큐브에 텍스처를 추가함으로써 전경 흐름 오차가 비텍스처 표면보다 약 10%포인트 감소함을 확인하였다.
• FN2-CSS-ft-sd 아키텍처에서는 특히 큰 이동량 상황에서 물결무늬 이미지의 우측 하단 영역에서 노이즈가 섞인 흐림 현상이 관찰됨.
• 평균 종점 오차는 이동 속도가 낮아질수록 감소하였으며, 이는 등거리 투영 모델에서 전경 분포가 더 우수하기 때문일 것으로 추정됨.
• 모든 시퀀스에서 배경 운동 오차(Fl-bg)는 거의 0에 가까웠으며, 합성 설정에서 배경이 정적임을 확인함.
• 나선 운동으로 인한 큰 이동량은 가장 높은 오차 비율을 유발하였으며, 특히 FN2-SD 아키텍처에서 극한 운동을 다루는 데에 한계가 있음을 시사함.