[논문 리뷰] Kernel Transformer Networks for Compact Spherical Convolution

Yu-Chuan Su, Kristen Grauman|arXiv (Cornell University)|2018. 12. 07.

Advanced Vision and Imaging참고 문헌 40인용 수 16

한 줄 요약

이 논문은 원근 투영 이미지에서 미리 훈련된 합성곱 신경망(CNN)을 360° 구형 이미지로 효율적으로 전이하기 위해 핵심 기반 전환 네트워크(KTNs)를 제안한다. KTNs는 등방위 투영에 의한 왜곡을 고려해 소스 CNN 커널을 적응시키는 함수를 학습함으로써 이를 달성한다. KTNs를 사용하면 재훈련 없이 다양한 작업 간 모델 전이가 가능하며, 이전 방법들보다 훨씬 낮은 메모리 사용량으로 최신 기술 수준의 정확도를 달성하며, 직접적인 등방위 투영 적용 및 탄성 평면 투영 기반 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Ideally, 360° imagery could inherit the deep convolutional neural networks (CNNs) already trained with great success on perspective projection images. However, existing methods to transfer CNNs from perspective to spherical images introduce significant computational costs and/or degradations in accuracy. In this work, we present the Kernel Transformer Network (KTN). KTNs efficiently transfer convolution kernels from perspective images to the equirectangular projection of 360° images. Given a source CNN for perspective images as input, the KTN produces a function parameterized by a polar angle and kernel as output. Given a novel 360° image, that function in turn can compute convolutions for arbitrary layers and kernels as would the source CNN on the corresponding tangent plane projections. Distinct from all existing methods, KTNs allow model transfer: the same model can be applied to different source CNNs with the same base architecture. This enables application to multiple recognition tasks without re-training the KTN. Validating our approach with multiple source CNNs and datasets, we show that KTNs improve the state of the art for spherical convolution. KTNs successfully preserve the source CNN's accuracy, while offering transferability, scalability to typical image resolutions, and, in many cases, a substantially lower memory footprint.

연구 동기 및 목표

• 원근 투영 이미지에서 훈련된 사전 훈련된 CNN을 재훈련 없이 360° 구형 이미지에 적응시키는 도전 과제를 해결하기 위해.
• 기존 방법의 한계인 높은 계산 비용, 왜곡으로 인한 정확도 저하, 이식성 부족을 극복하기 위해.
• 기본 아키텍처가 동일한 다양한 소스 CNN에 대해 재사용 가능한, 컴act한 프레임워크를 개발하여 원천 CNN 커널을 학습된 변환 함수를 통해 구형 기하학에 적응시키기 위해.

제안 방법

• KTN은 극각과 소스 커널을 매개변수로 하는 함수를 학습하여, 등방위 360° 이미지에서 사용 가능한 커널로 변환한다.
• 기하학적 왜곡을 고려하기 위해 등방위 투영의 특성에 따라 각도에 따라 달라지는 커널 변환을 학습한다.
• KTN은 360° 이미지의 탄성 평면 투영에서 소스 CNN의 출력을 재현하도록 훈련되어, 원래 모델과의 일致성을 보장한다.
• 커널 변환을 모델 파라미터에서 분리함으로써, 동일한 기본 아키텍처를 가진 다양한 소스 CNN에 대해 이식성이 가능해진다.
• KTN은 경량 네트워크로 구현되어, VGG 네트워크의 경우 메모리 사용량이 오직 25% 증가할 뿐이다.
• 중간 레이어 특징에 대해 지도 손실을 사용하여, 투영된 패치에서 소스 CNN의 행동과 일치하도록 훈련한다.

실험 결과

연구 질문

• RQ1 동일한 아키텍처를 가진 여러 사전 훈련된 CNN을 재훈련 없이 한 번의 KTN으로 360° 이미지로 전이할 수 있는가?
• RQ2 정확도와 효율성 측면에서 KTN의 성능은 직접적인 등방위 투영 적용 및 탄성 평면 투영 방법과 비교해 어떻게 되는가?
• RQ3 KTN은 360° 데이터에서 메모리 사용량을 줄이면서도 원천 CNN의 정확도를 어느 정도 유지하는가?
• RQ4 특히 보간 오차가 누적되는 깊은 아키텍처에서 KTN의 성능은 어떻게 되는가?
• RQ5 KTN은 객체 검출 및 깊이 예측과 같은 다양한 인식 작업으로 일반화 가능한가?

주요 결과

• KTN은 360° 이미지 인식에서 Pascal VOC 및 ImageNet 벤치마크에서 최신 기술 수준의 정확도를 달성하며, SphConv, SphereNet 및 투영 기반 기준선을 모두 앞서간다.
• SphConv에 비해 KTN 모델은 수 개 차수만큼 작으며, VGG 기반 네트워크의 경우 메모리 사용량이 오직 25% 증가할 뿐이다.
• 동일한 아키텍처를 가진 다양한 소스 CNN에 대해 KTN은 거의 동일한 성능을 유지하여 강력한 이식성을 입증한다.
• 최소로 왜곡이 발생하는 영역에서 평가된 탄성 평면 투영 기반 방법조차도 KTN이 더 뛰어난 성능을 보이며, 이는 KTN의 뛰어난 강건성을 시사한다.
• 네트워크 깊이가 증가할수록 KTN과 보간 기반 방법(예: SphereNet) 간의 성능 격차가 커지며, 이는 KTN이 누적 보간 오차를 피한다는 것을 확인한다.
• 실패 사례는 매우 넓거나 드문 시점(예: 전체 신체 또는 상단 시점)을 다룰 때의 한계를 드러내며, 360° 이미지에서 데이터 분포의 변화가 존재함을 시사한다.