[논문 리뷰] Warped Convolutions: Efficient Invariance to Spatial Transformations

João F. Henriques, Andrea Vedaldi|arXiv (Cornell University)|2016. 09. 14.

Advanced Image and Video Retrieval Techniques참고 문헌 22인용 수 23

한 줄 요약

이 논문은 표준 컨볼루션 이전에 입력 이미지에 학습된 공간 왜곡을 적용함으로써 연속적인 이중 매개변수 공간 변환—예를 들어 회전, 스케일링, 3D 자세—에 대해 정확한 등변성을 달성하는 워프드 컨볼루션(warped convolutions)을 소개한다. 이 방법은 표준 컨볼루션과 동일한 계산 효율성을 유지하면서 자세 추정 작업에서 뛰어난 성능을 발휘하여 Google Earth 및 AFLW 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

Convolutional Neural Networks (CNNs) are extremely efficient, since they exploit the inherent translation-invariance of natural images. However, translation is just one of a myriad of useful spatial transformations. Can the same efficiency be attained when considering other spatial invariances? Such generalized convolutions have been considered in the past, but at a high computational cost. We present a construction that is simple and exact, yet has the same computational complexity that standard convolutions enjoy. It consists of a constant image warp followed by a simple convolution, which are standard blocks in deep learning toolboxes. With a carefully crafted warp, the resulting architecture can be made equivariant to a wide range of two-parameter spatial transformations. We show encouraging results in realistic scenarios, including the estimation of vehicle poses in the Google Earth dataset (rotation and scale), and face poses in Annotated Facial Landmarks in the Wild (3D rotations under perspective).

연구 동기 및 목표

• 표준 CNN의 효율성과 이동성 이외의 광범위한 연속적인 공간 변환에 일반화된 방법을 개발하는 것.
• 이전의 일반화된 컨볼루션 방법이 반복적인 왜곡 또는 이산 필터 기반 구조를 필요로 하여 높은 계산 비용이 발생하는 문제를 해결하는 것.
• 단일 고정된 이미지 왜곡과 표준 컨볼루션을 사용하여 회전, 스케일링, 3D 자세와 같은 변환에 대해 정확한 등변성을 달성하는 것.
• 기존의 딥러닝 컴포넌트—예를 들어 공간 트ansformer와 이중선형 샘플링—를 사용하여 이 방법을 효율적으로 구현할 수 있음을 보여주는 것.
• 복잡한 변환을 포함한 실제 데이터셋—예를 들어 차량 자세 추정 및 3D 얼굴 정렬—에서 이 방법의 유효성을 검증하는 것.

제안 방법

• 표준 컨볼루션 이전에 입력 이미지에 학습된 고정된 공간 왜곡을 적용하여, 입력을 표준 컨볼루션이 원하는 변환에 대해 등변성이 되는 공간으로 변환한다.
• 왜곡은 딥러닝 툴킷에서 표준적인 연산인 이중선형 보간을 사용하여 구현되며, 이는 최적화된 컨볼루션 커널(예: Winograd, FFT)과의 호환성을 보장한다.
• 공간 변환은 투시 투영 하에서 3D 구면 회전의 기하학적 모델에서 유도되며, 이미지 좌표를 머리 모델의 구면 좌표로 매핑한다.
• 변환은 야와 피치 각도로 매개변수화되며, 연속적인 회전에 대해 정확한 등변성을 보장하기 위해 해석적으로 유도된 왜곡 함수를 사용한다.
• 네트워크는 왜곡 매개변수(초점 거리, 거리, 자세)를 학습하거나 수치적으로 최적화하여 엔드 투 엔드로 훈련된다.
• 아키텍처는 얼굴를 중심에 맞추기 위한 전처리 단계로 공간 트랜스포머 네트워크(STN)를 사용하며, 이후 4개의 컨볼루션 레이어와 맥스 풀링을 포함한 표준 CNN을 사용한다.

실험 결과

연구 질문

• RQ1 표준 컨볼루션과 동일한 계산 효율성을 유지하면서도 연속적인 이중 매개변수 공간 변환—예를 들어 회전 및 스케일링—에 대해 정확한 등변성을 달성할 수 있는가?
• RQ2 고정된 학습 가능한 공간 왜곡을 사용하여 표준 컨벌루션을 복잡한 변환—예를 들어 3D 머리 자세—에 대해 등변성 연산자로 변환할 수 있는가?
• RQ3 이 방법은 연속적인 변환을 포함한 자세 추정 작업에서 비등변 모델 및 기존 아키텍처인 STN보다 우수한 성능을 보일 수 있는가?
• RQ4 이 방법은 표준 딥러닝 컴포넌트와 최적화된 컨볼루션 루틴을 사용하여 효율적으로 구현될 수 있는가?
• RQ5 기하학적 모델링(예: 구면 투영)은 3D 자세 추정 정확도에 어떤 영향을 미치는가?

주요 결과

• 워프드 컨볼루션은 AFLW 데이터셋에서 야각 오차 7.07°, 피치 오차 5.28°를 기록하여 CNN+FC 기준(12.56° 및 6.59°)과 STN 기준(13.65° 및 7.22°)보다 뚜렷이 뛰어난 성능을 보였다.
• 차량 자세 추정 작업에서 Google Earth 데이터셋에서 최신 기준 성능을 달성하여 회전 및 스케일링에 대한 강건성을 입증했다.
• 제안된 방법은 표준 컨볼루션과 동일한 계산 복잡도를 유지하여 Winograd 및 FFT와 같은 최적화된 GPU 커널의 효율적 사용을 가능하게 했다.
• 성능 향상은 STN이나 완전 연결층의 사용이 아니라 아키텍처의 정확한 등변성에 기인한다.
• 이전의 방법들이 자세의 이산화된 이산화에 의존하는 것과 달리, 이 방법은 연속적인 변환을 효과적으로 처리할 수 있었다.
• 투시 투영 하에서의 구면 투영 기하학적 모델은 정확한 3D 자세 추정에 결정적인 역할을 하였으며, 유도된 왜곡 함수는 정확한 등변성을 보장했다.