[논문 리뷰] Neural Network Generalization: The impact of camera parameters

Zhenyi Liu, Trisha Lian외 2명|arXiv (Cornell University)|2019. 12. 08.

Advanced Neural Network Applications참고 문헌 33인용 수 4

한 줄 요약

이 논문은 자율주행 애플리케이션에서 카메라 파라미터와 이미지 처리가 컨volutional 신경망(CNN)의 일반화에 미치는 영향을 조사한다. ISETAuto라는 소프트 프로토타이핑 도구를 사용해 제어 가능한 카메라 파라미터를 가진 다중스펙트럼, 레이 트레이싱 이미지를 시뮬레이션함으로써, 저자들은 픽셀 크기와 디모자이킹이 8비트 깊이에서 일반화에 특히 큰 영향을 미친다는 것을 발견했다. 반면 레이저 10비트 센서 데이터는 뛰어난 성능을 보이며, 파rameters가 정확하게 모델링된 경우 합성 데이터가 실제 카메라 데이터로 효과적으로 일반화됨을 보여준다.

ABSTRACT

We quantify the generalization of a convolutional neural network (CNN) trained to identify cars. First, we perform a series of experiments to train the network using one image dataset - either synthetic or from a camera - and then test on a different image dataset. We show that generalization between images obtained with different cameras is roughly the same as generalization between images from a camera and ray-traced multispectral synthetic images. Second, we use ISETAuto, a soft prototyping tool that creates ray-traced multispectral simulations of camera images, to simulate sensor images with a range of pixel sizes, color filters, acquisition and post-acquisition processing. These experiments reveal how variations in specific camera parameters and image processing operations impact CNN generalization. We find that (a) pixel size impacts generalization, (b) demosaicking substantially impacts performance and generalization for shallow (8-bit) bit-depths but not deeper ones (10-bit), and (c) the network performs well using raw (not demosaicked) sensor data for 10-bit pixels.

연구 동기 및 목표

• 합성 또는 카메라 이미지에서 훈련된 CNN이 다양한 이미징 시스템으로의 일반화 성능을 정량화하는 것.
• ISETAuto에서 생성한 레이 트레이싱 합성 데이터가 자동차 검출에 있어 실제 카메라 성능을 얼마나 잘 재현하는지 평가하는 것.
• CNN 일반화에 가장 크게 영향을 미치는 카메라 파라미터와 이미지 처리 단계를 특정하는 것.
• 센서 및 처리 변형에 대한 CNN의 성능 한계와 민감도를 설정함으로써 카메라와 네트워크의 공동 설계를 안내하는 것.

제안 방법

• 물리 기반 레이 트레이싱 도구인 ISETAuto를 통해 생성된 합성 이미지 데이터셋에서 마스크RCNN 기반의 검출 네트워크를 처음부터 훈련하는 것.
• 픽셀 크기, 색 필터 어레이, 비트 깊이(8비트 대비 10비트)와 같은 카메라 파라미터를 시뮬레이션에서 체계적으로 변화시키는 것.
• 노출 제어 및 디모자이킹과 같은 이미지 처리 작업을 적용하여 실제 센서 파이프라인을 시뮬레이션하는 것.
• 독립적인 실세계 데이터셋(KITTI, Cityscapes, BDD)에서 훈련된 네트워크를 평가함으로써 일반화를 테스트하는 것.
• 다양한 훈련 및 테스트 데이터 조합에서 검출 성능를 정량화하기 위해 AP@0.5IOU를 주요 지표로 사용하는 것.
• 커널 인ception 거리(KID) 스코어를 사용해 데이터셋 간의 일반화 비대칭성과 유사도를 측정하는 것.

실험 결과

연구 질문

• RQ1 합성 이미지에서 훈련된 CNN과 실카메라 이미지에서 훈련된 CNN 간의 일반화 성능는 어떻게 달라지나?
• RQ2 픽셀 크기나 비트 깊이와 같은 특정 카메라 파라미터 중에서 CNN 일반화에 가장 강하게 영향을 미치는 것은 무엇인가?
• RQ3 디모자이킹과 같은 이미지 처리 단계는 다양한 비트 깊이에서 네트워크 성능에 어떻게 영향을 미치는가?
• RQ4 ISETAuto에서 생성한 레이 트레이싱 합성 데이터가 실제 카메라 데이터의 일반화 행동을 어느 정도 재현할 수 있는가?
• RQ5 제어 가능한 파rameters를 가진 합성 데이터는 자율주행을 위한 카메라와 신경망의 효과적인 공동 설계를 가능하게 하는가?

주요 결과

• 실카메라 데이터셋 간의 일반화와 합성 데이터 및 실카메라 데이터 간의 일반화가 유사하게 제한되어 있어, 파라미터가 정확하게 모델링된 경우 합성 데이터가 타당한 프록시로 사용될 수 있음을 시사한다.
• 픽셀 크기가 CNN 일반화에 측정 가능한 영향을 미치며, 더 작은 픽셀은 노이즈 증가와 신호 대비 잡음 비율 감소로 인해 성능을 떨어뜨린다.
• 8비트 깊이에서는 디모자이킹이 일반화 성능을 크게 떨어뜨리지만, 10비트 깊이에서는 영향이 미미하여 더 높은 비트 깊이가 보간 아티팩트를 완화함을 시사한다.
• 10비트 센서의 경우, 원시(디모자이킹되지 않은) 센서 데이터가 뛰어난 일반화 성능을 제공하므로 고다이내믹 레인지 응용 분야에서 원시 데이터가 바람직할 수 있음을 시사한다.
• ISETAuto가 생성한 합성 데이터에서 36,885개의 객체로 훈련한 결과, Cityscapes에서 62.5%의 AP@0.5IOU를 기록했으며, 이는 실데이터에서 관찰된 성능 수준(예: KITTI에서 66%)에 근접한 것이다.
• KID 거리 지표는 ISETAuto가 생성한 이미지가 BDD와 Cityscapes와 가장 유사하고, SYNTHIA와는 가장 유사하지 않음을 보여주며, 이는 관측된 일반화 패턴과 일치한다.