[논문 리뷰] Video Stitching for Linear Camera Arrays

Wei‐Sheng Lai, Orazio Gallo외 4명|arXiv (Cornell University)|2019. 07. 31.

Advanced Vision and Imaging참고 문헌 26인용 수 6

한 줄 요약

이 논문은 선형 카메라 어레이를 위한 딥 러닝 기반 영상 스티칭 방법을 제안하며, 새로운 푸시브룸 보간 레이어를 사용해 스티칭을 공간적 시점 보간 문제로 공식화한다. 넓은 기준선 시각 간의 매끄러운 정렬을 위해 밀도 높은 광학 흐름을 학습함으로써, 시간적으로 안정적이고 아티팩트가 적은 성능을 달성하여 사용자 연구에서 평균 95.37%의 선호도를 기록하며 최신 학술 및 상용 솔루션을 능가한다.

ABSTRACT

Despite the long history of image and video stitching research, existing academic and commercial solutions still produce strong artifacts. In this work, we propose a wide-baseline video stitching algorithm for linear camera arrays that is temporally stable and tolerant to strong parallax. Our key insight is that stitching can be cast as a problem of learning a smooth spatial interpolation between the input videos. To solve this problem, inspired by pushbroom cameras, we introduce a fast pushbroom interpolation layer and propose a novel pushbroom stitching network, which learns a dense flow field to smoothly align the multiple input videos for spatial interpolation. Our approach outperforms the state-of-the-art by a significant margin, as we show with a user study, and has immediate applications in many areas such as virtual reality, immersive telepresence, autonomous driving, and video surveillance.

연구 동기 및 목표

• 선형 카메라 어레이를 위한 넓은 기준선 영상 스티칭에서 지속적인 아티팩트(예: 겹침, 끊어진 물체, 정렬 오류)를 해결하기 위해.
• 프레임 단위의 왜곡 방법에서 발생하는 프레임 수준의 진동이나 흔들림 없이 시간적으로 안정적인 스티칭을 달성하기 위해.
• 강한 파라락소 효과가 있는 상황에서도 물체의 무결성을 유지하여 프레임 간에 물체가 잘리거나 사라지는 것을 방지하기 위해.
• 상용 소프트웨어와 이전 학술 방법을 모두 능가하는 시각적 품질과 강건성을 확보하는 학습 기반 접근법을 개발하기 위해.
• 가상현실, 자율주행, 몰입형 감시와 같은 애플리케이션을 위한 고품질 풍경 영상 생성을 가능하게 하기 위해.

제안 방법

• 다중 카메라에서 입력 영상 프레임을 공통의 실린더 표면에 투영하여 기하학적 표현을 통일한다.
• 입력 시각 간 双방향 광학 흐름을 추정하여 마치 푸시브룸 카메라가 촬영한 것처럼 중간 시점을 시뮬레이션한다.
• 새로운 푸시브룸 보간 레이어가 단일 패assing, 미분 가능 공간 보간을 수행하여 다중 워핑 단계를 피함으로써 최종 스티치드 뷰를 생성한다.
• 이미지 품질 향상과 운동의 매끄러움을 향상시키기 위해 콘텐츠 손실, 지각 손실, 시간 일관성 손실의 조합을 사용해 네트워크를 엔드 투 엔드로 훈련한다.
• 깊이 있는 합성곱 신경망을 활용해 넓은 기준선 간의 매끄럽고 콘텐츠 인식 정렬을 가능하게 하는 밀도 높은 유 flow 필드를 학습한다.
• 카메라 캘리브레이션 오차와 미세한 기준선 이동에 대한 강건성을 향상시키기 위해 토닝(fine-tuning)을 적용한다.

실험 결과

연구 질문

• RQ1 기존 방법과 비교해 학습 기반 접근법이 넓은 기준선 영상 스티칭에서 겹침 및 정렬 오류 아티팩트를 상당히 줄일 수 있는가?
• RQ2 프레임 수준의 진동이나 흔들림을 유발하지 않으면서 영상 스티칭의 시간적 안정성을 어떻게 향상시킬 수 있는가?
• RQ3 딥 네트워크가 패ano믹 스티칭에서 물체의 형태를 얼마나 잘 유지하고, 물체가 잘리거나 사라지는 것을 방지할 수 있는가?
• RQ4 미분 가능한 푸시브룸 보간 레이어가 다중 단계 워핑 또는 최적화 기반 방법보다 더 효율적으로 고품질 영상 스티칭을 달성할 수 있는가?
• RQ5 실제 사용자 인식 측면에서 제안된 방법은 상용 소프트웨어와 최신 학술 접근법과 비교해 어떠한가?

주요 결과

• 사용자 연구에서 제안된 방법은 이중 비교에서 평균 95.37%의 선호도를 기록하여 AutoPano Video(90.74%), NVIDIA VRWorks(97.22%), STCPW(98.15%)를 뛰어넘었다.
• 사용자들이 제안된 방법을 선호한 주요 이유는 끊어진 물체가 적어 84.74%의 선호도를 기록했고, 겹침이 적어 85.71%의 선호도를 기록했으며, 비교 결과 유사한 것으로 평가된 경우는 3.88%에 불과했다.
• 특히 강한 파라락소 효과가 있는 동적 장면에서, AutoPano Video나 NVIDIA VRWorks와 같은 상용 도구보다 겹침 및 정렬 오류 아티팩트를 더 효과적으로 줄였다.
• 푸시브룸 보간 레이어 덕분에 중간 시점을 단일 패assing으로 효율적으로 생성하여, 다중 이중선형 워핑 연산의 계산 부담을 피할 수 있었다.
• 카메라 캘리브레이션 변화에 대해 강건했으며, 측면 카메라가 원래 기준선의 최대 62.5%까지 내측으로 이동하더라도 PSNR 감소가 1dB 미만이었다.
• 네트워크의 토닝을 통해 기준선 정렬 오차를 감소시켜 실제 캘리브레이션 오차에 대한 적응성을 입증했다.