[논문 리뷰] Learning Spherical Convolution for Fast Features from 360° Imagery

Yu-Chuan Su, Kristen Grauman|arXiv (Cornell University)|2017. 08. 02.

Advanced Vision and Imaging참고 문헌 38인용 수 24

한 줄 요약

이 논문은 360° 등방위 영상에 직접 적용되면서 표준 2D CNN이 접선 평면 투영에서 보이는 특징 반응을 모방하는 학습 가능한 컨벌루션 레이어인 구면 컨벌루션(SphConv)을 제안한다. 등방위 투영의 왜곡에 적응하도록 필터를 학습시음으로써 SphConv는 다중 투영 기반 베이스라인 대비 수개의 순서로 빠른 추론과 거의 정확한 정확도를 달성하며, 사전 훈련된 모델을 360° 비전 작업에 효율적으로 전이할 수 있게 한다.

ABSTRACT

While 360° cameras offer tremendous new possibilities in vision, graphics, and augmented reality, the spherical images they produce make core feature extraction non-trivial. Convolutional neural networks (CNNs) trained on images from perspective cameras yield "flat" filters, yet 360° images cannot be projected to a single plane without significant distortion. A naive solution that repeatedly projects the viewing sphere to all tangent planes is accurate, but much too computationally intensive for real problems. We propose to learn a spherical convolutional network that translates a planar CNN to process 360° imagery directly in its equirectangular projection. Our approach learns to reproduce the flat filter outputs on 360° data, sensitive to the varying distortion effects across the viewing sphere. The key benefits are 1) efficient feature extraction for 360° images and video, and 2) the ability to leverage powerful pre-trained networks researchers have carefully honed (together with massive labeled image training sets) for perspective images. We validate our approach compared to several alternative methods in terms of both raw CNN output accuracy as well as applying a state-of-the-art "flat" object detector to 360° data. Our method yields the most accurate results while saving orders of magnitude in computation versus the existing exact reprojection solution.

연구 동기 및 목표

• 표준 2D 컨volution 신경망(CNN)을 360° 구면 영상에 적용하는 데 있어 등방위 투영에서의 왜곡 또는 다중 투영 접근 방식의 금방은 계산 비용 문제를 해결하기 위해.
• 평면 필터의 행동을 왜곡된 등방위 도메인 전역에서 유지하는 방식으로, 360° 영상에서 효율적이고 정확한 특징 추출을 가능하게 하는 구면 컨벌루션 레이어를 학습하기 위해.
• perspective 영상에서 사전 훈련된 강력한 CNN(예: VGG, ResNet)을 새로운 애너테이션 없이 다시 훈련하지 않고도 360° 데이터에 전이할 수 있도록 하기 위해.
• 구면 특징 학습에서 수렴 속도를 가속화하고 성능을 향상시키기 위해 커널 단위의 사전 훈련 절차를 개발하기 위해.

제안 방법

• SphConv는 전체 구면에서의 공간 관계를 모델링하기 위해 구면 좌표를 사용하여 등방위 360° 영상에 직접 컨벌루션을 적용하는 학습 가능한 레이어를 도입한다.
• SphConv 레이어가 동일한 360° 영상의 여러 접선 평면 투영에 대해 사전 훈련된 2D CNN이 생성하는 특징 반응을 재현하도록 하는 디스틸레이션 기반 훈련 목표를 설정한다.
• 특히 극 부근에서의 왜곡 변화를 고려하기 위해 네트워크 아키텍처를 체계적으로 수정하여 커널 샘플링과 특징 전파 방식을 조정한다.
• 커널 단위의 사전 훈련 전략을 도입하여, 소스 2D CNN의 투영된 시야에서의 반응을 근사하도록 SphConv 커널을 초기화함으로써 수렴 속도를 크게 향상시킨다.
• 전체 구면 도메인을 통합적으로 일반화할 수 있는 단일한 구면 필터를 학습함으로써 다중 투영 추론의 고비용을 피한다.
• 사전 훈련된 모델의 인덕티브 바이어스를 유지하면서 SphConv 레이어의 엔드 투 엔드 미세조정이 가능하게 하여 객체 검출과 같은 후행 작업에서 직접 활용할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 표준 2D CNN이 동일한 360° 영상의 여러 접선 평면 투영에 적용되었을 때의 특징 반응을 등방위 영상에서 거의 정확하게 재현할 수 있는가?
• RQ2 특히 극 부근에서 비균일한 왜곡이 발생하는 등방위 투영을 고려하여 구면 컨벌루션은 어떻게 설계될 수 있는가?
• RQ3 새로운 애너테이션 없이도, 단일 학습 가능한 구면 컨벌루션 레이어를 사용하여 사전 훈련된 2D CNN을 360° 데이터로 전이할 수 있는 정도는 어느 정도인가?
• RQ4 기존의 등방위 투영 및 다중 투영 기반 베이스라인 대비 제안된 방법이 높은 정확도와 계산 효율성을 동시에 달성하는가?

주요 결과

• SphConv는 계산 비용이 높은 다중 투영 기반 베이스라인(Exact)과 거의 정확한 성능을 달성하면서 추론 속도가 수개의 순서로 훨씬 빠르다.
• 특히 극 부근과 같은 고왜곡 영역에서 객체 검출 성능에서 직접 적용(Direct) 및 보간 기반 방법(Interp)을 모두 능가한다.
• SphConv의 최적화된 버전인 OptSphConv는 모든 극 각도에서 빠른 R-CNN 검출에서 정확히 다중 투영 기반 베이스라인에 가까운 성능을 보이며, 성능 저하가 최소한이다.
• 커널 단위의 사전 훈련을 사용하는 SphConv-Pre는 비사전 훈련 버전보다 수렴 속도가 빠르고 더 높은 정확도를 달성하여 초기화 전략의 효과를 입증한다.
• 제안된 네트워크는 검출기 네트워크보다 왜곡에 덜 민감하며, Direct 방법도 이 영역에서 잘 작동하지만, SphConv는 대부분의 영역, 특히 적도와 극 부근에서 모든 베이스라인을 능가한다.
• 시각적 예시는 SphConv가 심각한 왜곡 조건에서도 인간이 거의 인식할 수 없는 객체까지도 성공적으로 검출함으로써 360° 영상에서 기하학적 왜곡에 대한 강건성을 확인한다.