[논문 리뷰] Adaptable Deformable Convolutions for Semantic Segmentation of Fisheye Images in Autonomous Driving Systems

Clément Playout, Ola Ahmad외 2명|arXiv (Cornell University)|2021. 02. 19.

Advanced Neural Network Applications참고 문헌 20인용 수 17

한 줄 요약

이 논문은 기존의 표준 컨볼루션 신경망을 변형하여 볼록 렌즈로 인한 강한 기하학적 왜곡을 가진 피시아이미지에 적합하게 만들기 위한 새로운 적응 방법을 제안한다. 이 방법은 메인 네트워크 가중치를 미세조정하지 않고 컨볼루션 필터의 공간적 오프셋을 학습함으로써, 극소수의 레이블이 부여된 피시아이미지 데이터로도 높은 성능을 달성한다. 이는 자동주행 시스템에서 대규모 레이블링 데이터셋에 의존하는 것을 크게 줄인다.

ABSTRACT

Advanced Driver-Assistance Systems rely heavily on perception tasks such as semantic segmentation where images are captured from large field of view (FoV) cameras. State-of-the-art works have made considerable progress toward applying Convolutional Neural Network (CNN) to standard (rectilinear) images. However, the large FoV cameras used in autonomous vehicles produce fisheye images characterized by strong geometric distortion. This work demonstrates that a CNN trained on standard images can be readily adapted to fisheye images, which is crucial in real-world applications where time-consuming real-time data transformation must be avoided. Our adaptation protocol mainly relies on modifying the support of the convolutions by using their deformable equivalents on top of pre-existing layers. We prove that tuning an optimal support only requires a limited amount of labeled fisheye images, as a small number of training samples is sufficient to significantly improve an existing model's performance on wide-angle images. Furthermore, we show that finetuning the weights of the network is not necessary to achieve high performance once the deformable components are learned. Finally, we provide an in-depth analysis of the effect of the deformable convolutions, bringing elements of discussion on the behavior of CNN models.

연구 동기 및 목표

• 초광각 시야(FOV) 렌즈로 인해 강한 기하학적 왜곡을 보이는 피시아이미지에 사전 훈련된 CNN을 적용하는 데 도전하는 것.
• 실제 피시아이미지의 대규모 및 시간 소모적인 레이블링에 대한 의존도를 줄이기 위해, 극소수의 레이블이 부여된 샘플로도 모델 적응이 가능하도록 하는 것.
• 사전 훈련된 가중치를 유지하면서 변형 컨볼루션을 통해 공간적 오프셋을 학습하는 유연하고 즉시 사용 가능한 적응 메커니즘을 개발하는 것.
• 전체 네트워크 재학습 없이도 변형 컨볼루션을 사용하여 피시아이미지의 비선형 왜곡을 효과적으로 모델링할 수 있는지 평가하는 것.
• 미래 연구에서 레이블이 부여된 피시아이미지 데이터가 필요 없도록 하기 위해 자기지도 학습 기반 오프셋 학습의 가능성을 탐색하는 것.

제안 방법

• 기존의 표준 CNN 레이어 위에 변형 컨볼루션을 적용하여, 원본 네트워크 가중치를 수정하지 않고도 피시아이미지에 적합하게 적응시키는 방법을 적용한다.
• 컨볼루션 필터에 대해 학습 가능한 공간적 오프셋을 도입함으로써, 네트워크가 바리얼 왜곡을 고려해 샘플링 위치를 동적으로 조정할 수 있도록 한다.
• 변형 요소는 교차 엔트로피 손실을 사용하여 backpropagation로 학습되며, 나머지 네트워크는 적응 기간 동안 동결된다.
• Cityscapes 및 BlendedMVS 데이터셋을 사용하여 다양한 왜곡 정도(f 값으로 파arameterized)를 가진 시뮬레이션된 피시아이미지 데이터에서 평가한다.
• 메인 네트워크 가중치와는 별개로 적응이 수행되며, 배치 정규화 레이어만 선택적으로 미세조정 가능하다.
• 학습 데이터셋 크기를 1, 50, 100, 1000으로 다양하게 설정하여 샘플 효율성을 평가한다.

실험 결과

연구 질문

• RQ1 기존의 메인 네트워크를 재학습하지 않고도 변형 컨볼루션을 사용하여 사전 훈련된 CNN을 피시아이미지의 세그멘테이션에 적응시키는 데 효과적인가?
• RQ2 제안된 적응 방법을 사용할 경우, 유의미한 성능 향상을 달성하기 위해 얼마나 많은 레이블이 부여된 피시아이미지가 필요한가?
• RQ3 기존 네트워크 가중치를 동결한 채로 변형 오프셋만 학습하는 것이, 전체 미세조정 또는 재학습과 비교해 유사한 성능을 낼 수 있는가?
• RQ4 재학습 없이도 다양한 피시아이카메라 파라미터(f 값 등)에 대해 일반화 가능한가?
• RQ5 이 적응 메커니즘을 자기지도 학습으로 확장하여 향후 레이블이 부여된 피시아이미지 데이터가 필요 없도록 할 수 있는가?

주요 결과

• 단지 50장의 레이블이 부여된 피시아이미지만으로도, f=125인 Cityscapes 데이터셋에서 평균 교차율(mIoU) 0.643을 달성하여, 처음부터 재학습한 모델의 성능에 근접했다.
• 적응 전 비적응 모델의 mIoU는 0.420에서 적응 후 0.643으로 상승하여 극소수의 데이터로도 유의미한 성능 향상을 입증했다.
• 단 1장의 레이블이 부여된 피시아이미지만으로도 mIoU가 0.390으로 떨어졌으며, 이는 적응에 최소한의 데이터 임계값이 필요함을 시사하지만, 소량의 데이터 증가로 성능이 급격히 향상됨을 보여준다.
• 재학습 기반 모델(fish-DL3)의 mIoU 0.615를 초월하여, 전체 2675장의 훈련 데이터셋을 사용할 경우 mIoU 0.676을 달성했다.
• 메인 네트워크 가중치를 미세조정하지 않고도 높은 성능을 달성했으며, 이는 오프셋 학습만으로도 효과적인 적응이 가능함을 증명했다.
• 결과적으로 변형 컨볼루션은 피시아이미지의 비선형 왜곡을 효과적으로 모델링할 수 있으며, 최소한의 데이터와 계산 비용으로도 강력한 적응이 가능함을 시사한다.