[논문 리뷰] Dirty Pixels: Optimizing Image Classification Architectures for Raw Sensor Data

Steven Diamond, Vincent Sitzmann외 3명|arXiv (Cornell University)|2017. 01. 23.

Image and Signal Denoising Methods참고 문헌 45인용 수 68

한 줄 요약

이 논문은 원시 센서 데이터에 대해 노이즈 제거, 블러 제거 및 이미지 분류를 동시에 최적화하는 엔드 투 엔드 미분 가능 아키텍처를 제안하며, 저조도 및 노이즈가 심한 조건에서 분류 정확도를 크게 향상시킨다. 기존 방법과 달리, 이는 분류를 위해 특별히 맞춤형으로 조정된 처리 파이프라인을 학습하여, 노이즈와 아티팩트가 증가하더라도 미세한 세부 사항을 유지한다.

ABSTRACT

Real-world sensors suffer from noise, blur, and other imperfections that make high-level computer vision tasks like scene segmentation, tracking, and scene understanding difficult. Making high-level computer vision networks robust is imperative for real-world applications like autonomous driving, robotics, and surveillance. We propose a novel end-to-end differentiable architecture for joint denoising, deblurring, and classification that makes classification robust to realistic noise and blur. The proposed architecture dramatically improves the accuracy of a classification network in low light and other challenging conditions, outperforming alternative approaches such as retraining the network on noisy and blurry images and preprocessing raw sensor inputs with conventional denoising and deblurring algorithms. The architecture learns denoising and deblurring pipelines optimized for classification whose outputs differ markedly from those of state-of-the-art denoising and deblurring methods, preserving fine detail at the cost of more noise and artifacts. Our results suggest that the best low-level image processing for computer vision is different from existing algorithms designed to produce visually pleasing images. The principles used to design the proposed architecture easily extend to other high-level computer vision tasks and image formation models, providing a general framework for integrating low-level and high-level image processing.

연구 동기 및 목표

• 실제 센서에서 발생하는 노이즈 및 블러와 같은 열악한 환경에서의 강건한 이미지 분류 문제를 해결하기 위해.
• 저수준 이미지 복원과 고수준 분류를 엔드 투 엔드 미분 가능 방식으로 통합하는 공동 최적화 프레임워크를 개발하기 위해.
• 기존의 노이즈 제거 및 블러 제거 알고리즘은 시각적 품질을 최적화하기 위해 설계되어 있어 분류 성능을 위한 것이 아니므로, 이러한 한계를 극복하기 위해.
• 컴퓨터 비전을 위한 최적의 저수준 처리가 시각적 품질을 위한 방법과 본질적으로 다름을 입증하기 위해.

제안 방법

• 이 아키텍처는 원시 센서 입력의 복원과 함께 이미지 분류를 동시에 최적화하는 미분 가능한 파이프라인을 사용해 엔드 투 엔드로 훈련된다.
• 역전파 동안 분류 헤드와 함께 공동 최적화되는 학습 가능한 노이즈 제거 및 블러 제거 모듈을 포함한다.
• 복원 구성 요소는 시각적으로 뚜렷한 아티팩트를 유발할 수 있지만, 분류에 핵심적인 미세한 의미적 세부 정보를 유지하도록 설계되어 있다.
• 원시 이미지 데이터의 재구성 손실과 분류 교차 엔트로피 손실을 결합한 통합 손실 함수를 사용한다.
• 실제 저조도 및 손상된 조건에서 발생하는 현실적인 노이즈와 블러를 포함한 실세계 센서 데이터로 훈련되어, 저조도 및 열악한 조건에서도 강건성을 확보한다.
• 이 프레임워크는 일반화 가능하며, 다른 고수준 비전 작업 및 이미지 형성 모델에 적용 가능하다.

실험 결과

연구 질문

• RQ1 노이즈 제거, 블러 제거 및 분류의 공동 엔드 투 엔드 최적화가 별도의 처리 또는 재훈련 대비 저조도 및 노이즈가 심한 조건에서 강건성을 향상시키는가?
• RQ2 공동 최적화된 복원 파이프라인을 사용해 훈련한 분류 네트워크의 성능은 노이즈가 있는 데이터로 재훈련하거나 기존의 전처리 방법을 사용했을 때와 비교해 어떻게 되는가?
• RQ3 컴퓨터 비전을 위한 저수준 이미지 처리에서 시각적 품질과 분류 정확도 사이의 상충 관계는 어떠한가?
• RQ4 분류를 위한 최적의 복원 특징은 최신 이미지 복원 기법이 생성하는 특징과 얼마나 다를까?

주요 결과

• 제안된 아키텍처는 노이즈가 많고 뿌연 이미지로 네트워크를 재훈련한 경우보다 훨씬 높은 분류 정확도를 달성한다.
• 비록 이러한 방법들이 더 시각적으로 우수한 출력을 내지만, 최첨단 노이즈 제거 및 블러 제거 알고리즘을 사용한 기존 전처리 방법보다도 성능이 뛰어나다.
• 학습된 복원 파이프라인은 표준 방법보다 더 많은 노이즈와 아티팩트를 유발하지만, 분류에 필수적인 미세한 의미적 세부 정보를 유지한다.
• 결과적으로, 컴퓨터 비전을 위한 최적의 저수준 처리가 시각적 품질을 위한 것과 동일하지 않음을 입증하며, 시각적 정확도가 주요 목표라는 가정을 도전한다.
• 이 프레임워크는 일반화 가능하며, 다른 고수준 비전 작업 및 이미지 형성 모델로 확장 가능하다.