[논문 리뷰] Flat2Sphere: Learning Spherical Convolution for Fast Features from 360° Imagery

Yu-Chuan Su, Kristen Grauman|arXiv (Cornell University)|2017. 01. 01.

Advanced Vision and Imaging참고 문헌 24인용 수 13

한 줄 요약

이 논문은 평면 컨volution 신경망(CNN)을 360° 이QUIRECTANGULAR 이미지에 직접 처리할 수 있도록 학습된 구면 컨볼루션을 통해 적응시키는 Flat2Sphere 방법을 제안한다. 평면 필터 반응을 모방하도록 훈련하면서도 구면 왜곡을 고려함으로써, 정확도는 정확한 재프로젝션 방법과 거의 동일하게 유지하면서도 추론 속도는 수개의 차수만큼 빠르게 만들어, 360° 시각 작업을 위한 효율적인 특징 추출을 가능하게 한다.

ABSTRACT

While 360° cameras offer tremendous new possibilities in vision, graphics, and augmented reality, the spherical images they produce make core feature extraction non-trivial. Convolutional neural networks (CNNs) trained on images from perspective cameras yield “flat filters, yet 360° images cannot be projected to a single plane without significant distortion. A naive solution that repeatedly projects the viewing sphere to all tangent planes is accurate, but much too computationally intensive for real problems. We propose to learn a spherical convolutional network that translates a planar CNN to process 360° imagery directly in its equirectangular projection. Our approach learns to reproduce the flat filter outputs on 360° data, sensitive to the varying distortion effects across the viewing sphere. The key benefits are 1) efficient feature extraction for 360° images and video, and 2) the ability to leverage powerful pre-trained networks researchers have carefully honed (together with massive labeled image training sets) for perspective images. We validate our approach compared to several alternative methods in terms of both raw CNN output accuracy as well as applying a state-of-the-art “flat object detector to 360° data. Our method yields the most accurate results while saving orders of magnitude in computation versus the existing exact reprojection solution.

연구 동기 및 목표

• 표준 CNN이 투시도 이미지에서 훈련된 것을 360° 이QUIRECTANGULAR 이미지에 적용할 때 발생하는 심각한 기하학적 왜곡 문제를 해결하기 위해.
• 특징 추출을 위해 반복적으로 구면 이미지를 탄성 평면으로 재프로젝션하는 계산 부담을 제거하기 위해.
• 재학습 없이도 강력한 사전 훈련된 CNN을 360° 데이터에 직접 사용할 수 있도록 하기 위해.
• 구면 표면 전반에 걸쳐 변하는 왜곡을 고려하면서도 평면 필터 반응의 정확도를 유지하기 위해.
• 정확한 재프로젝션 방법에 대한 계산 효율적인 대안을 제공하기 위해 360° 특징 추출을 위해.

제안 방법

• 이 방법은 평면 CNN 필터를 그대로 360° 이QUIRECTANGULAR 이미지에 적용할 수 있도록 작동하는 학습된 구면 컨볼루션 레이어를 학습한다.
• 이 네트워크는 정확한 구면 재프로젝션을 거친 후 동일한 이미지에 표준 평면 필터를 적용했을 때의 출력을 재현하도록 훈련된다.
• 학습된 구면 필터 출력과 기준 평면 필터 출력 간의 차이를 최소화하는 손실 함수를 사용하여 네트워크를 종합적으로 최적화한다.
• 비용이 많이 드는 탄성 평면으로의 반복적 프로젝션을 피하기 위해 이QUIRECTANGULAR 투영을 입력으로 활용한다.
• 최소한의 수정으로 기존의 표준 CNN 아키텍처를 사용하여 360° 이미지에 직접 추론을 수행할 수 있도록 한다.
• 이 방법은 기존의 사전 훈련된 모델과 호환되어 대규모 레이블 데이터셋에서의 전이 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 기하학적 왜곡이 존재하는 360° 이미지에서 학습된 구면 컨볼루션 레이어가 표준 평면 필터의 출력을 정확하게 재현할 수 있는가?
• RQ2 정확한 재프로젝션 기반 특징 추출과 비교해 본다면, 제안된 방법은 정확도와 효율성 측면에서 어떻게 다른가?
• RQ3 이 방법을 사용해 사전 훈련된 평면 CNN을 미세조정 없이 360° 영상에 얼마나 잘 적응시킬 수 있는가?
• RQ4 이 방법은 360° 데이터에서 객체 검출과 같은 후행 작업에 적용되었을 때도 높은 성능을 유지하는가?
• RQ5 정확한 방법과 거의 동일한 정확도를 달성하면서도 계산량을 수개의 차수만큼 줄일 수 있는가?

주요 결과

• 제안된 방법은 360° 이미지 특징 추출의 황금 표준으로 여겨지는 정확한 재프로젝션 기반 방법과 비교해 비슷한 정확도를 달성한다.
• 정확한 재프로젝션 방법에 비해 계산 비용을 수개의 차수만큼 감소시켜 360° 영상에서 실시간 또는 거의 실시간 추론을 가능하게 한다.
• 이 방법은 사전 훈련된 평면 CNN을 360° 데이터에 성공적으로 적응시켜 재학습 없이도 그 성능을 유지한다.
• 최신 평면 객체 검출기에서 이 방법을 적용했을 때, 평가된 모든 접근 방식 중에서 360° 데이터에서 가장 정확한 결과를 도출한다.
• 학습된 구면 컨볼루션은 구면 전반의 다양한 왜곡을 효과적으로 고려하여 일관되고 신뢰할 수 있는 특징 맵을 생성한다.