[논문 리뷰] Surround-view Fisheye Camera Perception for Automated Driving: Overview, Survey and Challenges

Varun Ravi Kumar, Ciarán Eising외 2명|arXiv (Cornell University)|2022. 05. 26.

Advanced Optical Sensing Technologies인용 수 5

한 줄 요약

이 논문은 자율주행을 위한 둘레 시야 광선 카메라 인식에 대한 종합적인 가이드 및 서베이를 제공하며, 광선 기하학, 인식 작업 및 과제를 다룹니다. 광선 카메라의 통합 모델링을 제안하고, 다중 카메라 및 근거리/원거리 영역 융합을 지지하며, 왜곡 인지 인식 및 조망도 변환과 관련된 핵심 열린 문제를 규명합니다.

ABSTRACT

Surround-view fisheye cameras are commonly used for near-field sensing in automated driving. Four fisheye cameras on four sides of the vehicle are sufficient to cover 360° around the vehicle capturing the entire near-field region. Some primary use cases are automated parking, traffic jam assist, and urban driving. There are limited datasets and very little work on near-field perception tasks as the focus in automotive perception is on far-field perception. In contrast to far-field, surround-view perception poses additional challenges due to high precision object detection requirements of 10cm and partial visibility of objects. Due to the large radial distortion of fisheye cameras, standard algorithms cannot be extended easily to the surround-view use case. Thus, we are motivated to provide a self-contained reference for automotive fisheye camera perception for researchers and practitioners. Firstly, we provide a unified and taxonomic treatment of commonly used fisheye camera models. Secondly, we discuss various perception tasks and existing literature. Finally, we discuss the challenges and future direction.

연구 동기 및 목표

• 자율주행 분야에서 둘레 시야 광선 카메라 인식에 대한 종합적인 자료 부족 문제를 해결한다.
• 등거리, 정사영, 등등각 투영을 포함한 광선 카메라 모델의 통합 분류 체계를 제공한다.
• 광선 데이터에서 물체 검출, 추적, 조망도 변환 등의 작업을 위한 기존 인식 알고리즘을 서베이한다.
• 높은 반사성 왜곡, 외관 변화, 다중 카메라 설정에서의 시간적 일관성 부족과 같은 주요 과제를 규명한다.
• 다중 카메라 통합 모델링 및 근거리/원거리 인식 프레임워크 통합과 같은 향후 연구 방향을 제안한다.

제안 방법

• 등거리, 정사영, 등등각 투영을 포함한 주요 광선 카메라 모델을 기하학적 투영 방정식 기반으로 체계적으로 분류하고 비교한다.
• 보정, 학습 가능한 공간 변환 또는 종단 간 왜곡 인지 네트워크를 통해 광선 왜곡을 처리하는 인식 파이프라인을 검토한다.
• 비선형 왜곡으로 인해 표준 IPM(역투영 맵핑)의 한계를 분석하고, 더 유연한 대안으로 학습 가능한 보정 레이어를 제안한다.
• 네 대의 둘레 시야 광선 카메라에서의 데이터를 동시에 처리하는 다중 카메라 모델링 방법을 제안하여, 다중 카메라에서 시야가 겹치는 물체의 검출을 향상시키고 재식별 오버헤드를 줄인다.
• 기하학적 근사치에 의존하지 않고 비선형적 변환을 암묵적으로 처리할 수 있는 종단 간 학습 프레임워크의 중요성을 강조한다.
• 근거리(광선) 및 원거리(핀홀) 카메라를 모두 포함하는 데이터셋과 벤치마크 개발의 필요성을 강조한다.

실험 결과

연구 질문

• RQ1 자율주행에서 일관된 인식을 위해 광선 카메라 모델을 체계적으로 분류하고 통합할 수 있는 방법은 무엇인가요?
• RQ2 광선 카메라의 높은 반사성 왜곡과 공간적으로 변화하는 외관 특성으로 인해 표준 인식 알고리즘(예: 물체 검출, 추적)을 어떻게 적응시킬 수 있나요?
• RQ3 다중 카메라 둘레 시야 시스템을 어떻게 통합적으로 모델링하여 검출 정확도를 향상시키고, 카메라 간 재식별 복잡도를 줄일 수 있나요?
• RQ4 광선 카메라에 적용했을 때 기존 조망도 변환 방법(예: IPM)의 한계는 무엇이며, 이를 학습 가능한 종단 간 접근 방식으로 어떻게 극복할 수 있나요?
• RQ5 차세대 자율주행 시스템에서 근거리(광선) 및 원거리(핀홀) 카메라 간의 통합 인식을 위한 열린 과제는 무엇인가요?

주요 결과

• 광선 카메라는 360° 근거리 커버리지의 자율주행에 널리 사용되지만, 복잡한 반사성 왜곡과 표준화된 도구 부족으로 연구에서 다소 부족한 편입니다.
• 핀홀 카메라 전용으로 설계된 표준 인식 알고리즘이 광선 데이터에서는 심한 반사성 왜곡으로 인해 실패하므로, 특수한 모델링 및 보정 기법이 필요합니다.
• 다중 카메라 통합 모델링은 여러 광선 카메라 간의 겹치는 시야를 활용하여 대형 차량의 검출을 향상시키고 재식별 오류를 줄입니다.
• 비선형 광선 왜곡을 고려한 학습 가능한 공간 변환 레이어는 기존 픽셀 수준의 IPM보다 조망도 특징 변환에서 뛰어난 성능을 보입니다.
• 현재까지 근거리(광선) 및 원거리(핀홀) 카메라를 모두 포함하는 공개 데이터셋이 존재하지 않아 통합 인식 연구에 큰 장벽이 되고 있습니다.
• 반사성 왜곡으로 인한 큰 외관 변화로 인해 광선 카메라에서 추적 및 재식별의 시간적 일관성이 크게 떨어지므로, 왜곡 인지 특징 인코딩이 필수적입니다.