[논문 리뷰] Task-Driven Super Resolution: Object Detection in Low-resolution Images

Muhammad Haris, Greg Shakhnarovich외 1명|arXiv (Cornell University)|2018. 03. 30.

Advanced Image Processing Techniques인용 수 71

한 줄 요약

논문은 SR 네트워크를 객체 탐지기와 함께 학습시켜 탐지 손실을 SR 학습 목표에 추가함으로써 엔드투엔드 최적화를 가능하게 하여 저해상도 이미지에서의 객체 탐지 성능을 기존 SR 방법보다 개선한다.

ABSTRACT

We consider how image super resolution (SR) can contribute to an object detection task in low-resolution images. Intuitively, SR gives a positive impact on the object detection task. While several previous works demonstrated that this intuition is correct, SR and detector are optimized independently in these works. This paper proposes a novel framework to train a deep neural network where the SR sub-network explicitly incorporates a detection loss in its training objective, via a tradeoff with a traditional detection loss. This end-to-end training procedure allows us to train SR preprocessing for any differentiable detector. We demonstrate that our task-driven SR consistently and significantly improves accuracy of an object detector on low-resolution images for a variety of conditions and scaling factors.

연구 동기 및 목표

• 저해상도 이미지에서의 객체 탐지 성능을 SR을 통해 향상시키려는 동기를 제시하고, SR과 탐지기가 별도로 학습되던 격차를 해결한다.
• 재구성 손실과 함께 탐지 손실을 추가로 최적화하는 엔드투엔드 프레임워크를 제안한다.
• 다양한 확대/축소 및 저해상도 조건에서 태스크 주도형 SR이 더 나은 탐지 정확도를 제시함을 보여준다.
• 다양한 SR 스케일 및 품질 저하에 대해 접근 방식의 강건성을 실험으로 검증한다.

제안 방법

• 저해상도 입력을 업샘플링하기 위한 SR 백본으로 DBPN을 사용한다.
• differentiable 탐지 손실을 제공하는 고정된 객체 탐지기로 SSD를 사용한다.
• 복합 손실 L = alpha * L_rec + beta * L_task를 정의하고 SR 모듈로 역전파한다.
• 탐지의 태스크 손실 기울기를 S를 통해 역전파하여 SR이 탐지에 유리한 출력을 생성하도록 한다.
• 재구성만의 pretraining, 균형 잡힌 트레이드오프, 점진적/태스크-전용 미세조정 등 교육 일정들을 탐색한다.

실험 결과

연구 질문

• RQ1 객체 탐지에서 얻은 differentiable 태스크 손실이 저해상도 입력에서의 탐지를 개선하도록 SR을 안내할 수 있는가?
• RQ2 영상 품질 저하를 지나치게 악화하지 않고 탐지 성능을 극대화하기 위해 재구성 손실과 탐지 관련 손실을 어떻게 균형 있게 설정해야 하는가?
• RQ3 태스크 주도형 SR 방법이 다양한 저하 시나리오(예: 4x 및 8x 업샘플링, 흐림, 노이즈 등)에서 전통적인 SR 및 비태스크 주도 baselines보다 우수한가?

주요 결과

• 태스크 주도형 SR은 전통적인 SR 방법 및 베이스라인에 비해 저해상도 입력에서 객체 탐지기의 정확도를 일관되게 향상시킨다.
• 재구성 및 탐지 손실의 균형 조정은 PSNR이 낮더라도 탐지 성능을 높일 수 있어 지각된 이미지 품질과 태스크 성능 간의 불일치를 강조한다.
• 적당한 태스크 중심 트레이드오프(예: 작은 beta)는 PSNR 손실을 허용하더라도 mAP에서 큰 향상을 가져오는 경우가 많고, 순수 태스크 전용이나 순수 재구성 중심 전략은 저조한 성능을 보인다.
• 이 접근법은 흐림 및 노이즈 같은 추가 저하에서도 여전히 효과적이며, 이러한 시나리오에서 비태스크 주도 SR 방법보다 우수한 성능을 보일 수 있다.