[논문 리뷰] Review on Panoramic Imaging and Its Applications in Scene Understanding

Shaohua Gao, Kailun Yang외 3명|arXiv (Cornell University)|2022. 05. 11.

Advanced Image and Video Retrieval Techniques인용 수 9

한 줄 요약

이 리뷰는 최근 360° 환경 이해를 위한 원형 영상 기술의 발전을 종합적으로 다루며, 자유형 광학, 메타표면 및 계산 영상 기술을 통합하여 고해상도, 경량, 多차원 감지 시스템을 가능하게 한다. 이 기술들은 자율 주행, 로봇 기술 및 감시 분야에서 시야, 해상도 향상 및 인공지능과의 지능적인 융합을 통해 원형 영상 기술을 향상시킨다.

ABSTRACT

With the rapid development of high-speed communication and artificial intelligence technologies, human perception of real-world scenes is no longer limited to the use of small Field of View (FoV) and low-dimensional scene detection devices. Panoramic imaging emerges as the next generation of innovative intelligent instruments for environmental perception and measurement. However, while satisfying the need for large-FoV photographic imaging, panoramic imaging instruments are expected to have high resolution, no blind area, miniaturization, and multidimensional intelligent perception, and can be combined with artificial intelligence methods towards the next generation of intelligent instruments, enabling deeper understanding and more holistic perception of 360-degree real-world surrounding environments. Fortunately, recent advances in freeform surfaces, thin-plate optics, and metasurfaces provide innovative approaches to address human perception of the environment, offering promising ideas beyond conventional optical imaging. In this review, we begin with introducing the basic principles of panoramic imaging systems, and then describe the architectures, features, and functions of various panoramic imaging systems. Afterwards, we discuss in detail the broad application prospects and great design potential of freeform surfaces, thin-plate optics, and metasurfaces in panoramic imaging. We then provide a detailed analysis on how these techniques can help enhance the performance of panoramic imaging systems. We further offer a detailed analysis of applications of panoramic imaging in scene understanding for autonomous driving and robotics, spanning panoramic semantic image segmentation, panoramic depth estimation, panoramic visual localization, and so on. Finally, we cast a perspective on future potential and research directions for panoramic imaging instruments.

연구 동기 및 목표

• 기존 광학에서 지능형 계산 영상 기술로의 진화를 고려한 원형 영상 시스템의 체계적 리뷰 제공
• 자유형 표면, 박판 광학, 메타표면 등 신규 광학 기술이 원형 영상 설계의 상충 관계를 어떻게 해결하는지 분석
• 원형 영상과 인공지능의 통합을 통해 자율 주행 및 로봇 기술 등 응용 분야에서의 환경 이해 능력을 향상시키는 방법 탐색
• 원형 인식의 미니어처라이제이션, 다차원 센싱, 비지도 학습 등 향후 연구 방향과 주요 과제 규명
• 기존 서베이의 격차를 메우기 위해 최근 20년간의 원형 영상 기술 발전, 특히 2010년 이후의 진전을 다룸

제안 방법

• 원형 영상 시스템에 관한 광범위한 문헌 리뷰를 수행하여 아키텍처, 영상 모드, 광학 기술 기반으로 분류
• 원형 광학 시스템의 설계 원리와 성능 상충 관계를 분석하며, 시야, 해상도, F-number, 영상 품질에 중점을 둔다.
• 자유형 표면, 박판 광학, 메타표면 등 새로운 광학 구성 요소의 성능을 평가하여 소형화되고 고성능인 원형 시스템의 가능성을 분석
• 딥러닝 기반의 의미 분할, 깊이 추정, 시각적 위치 결정 등 계산 영상 기법을 원형 영상 스트림에 적용하여 분석
• 자율 주행, 로봇, 의료 내 endoscopy, 감시 등 응용 분야의 사례를 통합하여 실제 성능과 확장성 평가
• 센서 융합, 이벤트 기반 센싱, LiDAR 통합, 약한 지도 학습 기반의 향후 연구 방향 제안하여 레이블링 비용 감소

실험 결과

연구 질문

• RQ1 자유형 표면과 메타표면는 원형 영상 시스템에서 기존 광학의 한계를 어떻게 극복할 수 있는가?
• RQ2 실제 응용에 적합한 원형 영상 시스템 설계 시 핵심 성능 상충 관계는 무엇인가?
• RQ3 계산 영상 및 인공지능은 원형 데이터로부터의 환경 이해를 어떻게 향상시킬 수 있는가?
• RQ4 다차원 감지(예: 투과도, 스펙트럼, 시간적 특성)는 어떻게 원형 광학 시스템에 통합될 수 있는가?
• RQ5 비지도 또는 약한 지도 학습은 360° 원형 영상 데이터의 레이블링 비용을 어떻게 줄일 수 있는가?

주요 결과

• 자유형 표면과 메타표면는 기존 광학을 뛰어넘는 설계의 자유도 향상과 비수선 왜곡 감소를 통해 소형화되고 고성능인 원형 시스템을 가능하게 한다.
• 계산 영상 및 딥러닝 기반 기술의 통합은 복잡한 환경에서도 정확한 원형 의미 분할, 깊이 추정 및 시각적 위치 결정을 가능하게 한다.
• 투과도, 스펙트럼, 시간적 감지 기능을 갖춘 다차원 원형 시스템은 로봇 및 자율 주행 분야의 새로운 응용 가능성을 열어준다.
• 이벤트 센서 및 원형 투영 방식의 활성 LiDAR는 실시간 응용에 적합한 고다이나믹 레인지, 저지연 인식을 가능하게 한다.
• 약한 지도 학습 및 비지도 학습 방법, 예를 들어 Wild-360 데이터셋에 적용된 약한 지도 기반 주목도 모델은 고비용의 전체 원형 레이블링에 대한 의존도를 감소시킨다.
• 초정밀 제조 기술은 마이크로-나노 광학 구성 요소의 제작을 지원하여 이동형 및 임베디드 사용을 위한 원형 장치의 미니어처라이제이션 및 경량화를 가능하게 한다.