[논문 리뷰] RestoreDet: Degradation Equivariant Representation for Object Detection in Low Resolution Images

Ziteng Cui, Yingying Zhu외 6명|arXiv (Cornell University)|2022. 01. 07.

Advanced Image Processing Techniques인용 수 4

한 줄 요약

RestoreDet는 낮은 해상도이거나 열화된 이미지에서 객체 검출을 위한 새로운 엔드 투 엔드 프레임워크로, 무작위로 열화된 이미지 쌍 간의 자기지도 대비 학습을 통해 열화 등변 표현을 학습한다. 고해상도 세부 정보를 유지하기 위해 임의의 해상도 복원 디코더를 통합하여, 추론 중에 명시적인 이미지 복원 없이 다양한 열화 조건에서 최신 기술 수준의 검출 정확도와 빠른 추론 속도를 달성한다.

ABSTRACT

Image restoration algorithms such as super resolution (SR) are indispensable pre-processing modules for object detection in degraded images. However, most of these algorithms assume the degradation is fixed and known a priori. When the real degradation is unknown or differs from assumption, both the pre-processing module and the consequent high-level task such as object detection would fail. Here, we propose a novel framework, RestoreDet, to detect objects in degraded low resolution images. RestoreDet utilizes the downsampling degradation as a kind of transformation for self-supervised signals to explore the equivariant representation against various resolutions and other degradation conditions. Specifically, we learn this intrinsic visual structure by encoding and decoding the degradation transformation from a pair of original and randomly degraded images. The framework could further take the advantage of advanced SR architectures with an arbitrary resolution restoring decoder to reconstruct the original correspondence from the degraded input image. Both the representation learning and object detection are optimized jointly in an end-to-end training fashion. RestoreDet is a generic framework that could be implemented on any mainstream object detection architectures. The extensive experiment shows that our framework based on CenterNet has achieved superior performance compared with existing methods when facing variant degradation situations. Our code would be released soon.

연구 동기 및 목표

• 사전 처리 복원 모듈에서 열화 가정이 맞지 않아 발생하는 저해상도 또는 열화된 이미지에서의 객체 검출기 성능 저하 문제를 해결하기 위해.
• 고정된 열화 모델에 의존하지 않고 표현 학습과 객체 검출을 동시에 최적화하는 일반적인 엔드 투 엔드 프레임워크를 개발하기 위해.
• 무작위 리샘플링 변환에서 유도된 자기지도 신호를 활용하여 강건하고 열화에 강인한 특징 표현을 학습하기 위해.
• 고급 초해상도 아키텍처를 임의의 해상도 복원 디코더(ARRD)를 통해 통합하여 특징 학습을 감독함으로써 검출 성능을 향상시키기 위해.
• 추론 중에 고해상도 이미지를 명시적으로 재구성하지 않고도 높은 검출 정확도와 빠른 추론 효율성을 달성하기 위해.

제안 방법

• 프레임워크는 내림샘플링 비율 $ s $, 블러 커널 $ k $, 노이즈 수준 $ n $로 정의된 무작위 열화 변환 $ t $를 사용하여 고해상도 입력에서 저해상도 열화 이미지를 생성한다.
• 변환 디코더 $ D_t $ 는 원본 및 열화된 이미지 쌍의 인코딩 특징에서 변환 $ t $ 를 재구성하도록 훈련되어 표현 공간에서 등변성을 강제한다.
• 임의의 해상도 복원 디코더(ARRD) $ D_r $ 가 도입되어 열화된 표현에서 원본 고해상도 이미지를 재구성함으로써 인코더가 세밀한 구조적 세부 정보를 유지하도록 유도한다.
• 인코더 $ E $, 변환 디코더 $ D_t $, 복원 디코더 $ D_r $, 객체 검출 헤드 $ D_o $ 가 엔드 투 엔드 방식으로 공동 최적화된다.
• 추론 시에는 인코더 $ E $ 와 검출 헤드 $ D_o $ 만 사용되며, 명시적인 이미지 복원을 피함으로써 더 빠른 추론이 가능하다.
• 훈련 데이터는 $ s \in [1,4] $, $ k \in \{k_{\text{iso}}, k_{\text{aniso}}, k_{\text{none}}\} $, 노이즈 분산 $ \sim U(0, 25/255) $ 에 대해 균일 분포에서 샘플링된 무작위로 열화된 이미지로 구성된다.

실험 결과

연구 질문

• RQ1 무작위 열화 변환을 통한 자기지도 학습이 알려지지 않았거나 변하는 열화 조건을 가진 저해상도 이미지에서의 객체 검출 강건성 향상에 기여하는가?
• RQ2 고정된 열화 초해상도 모델을 통한 사전 처리와 비교할 때, 열화 등변 표현 학습은 검출 정확도와 추론 효율성 면에서 어떻게 다른가?
• RQ3 명시적인 이미지 재구성 없이도, 임의의 해상도 복원 디코더가 하류 검출 작업을 위한 특징 표현 품질 향상에 어느 정도 기여하는가?
• RQ4 표현 학습과 검출의 공동 최적화는 순차적 사전 처리 및 검출보다 더 나은 일반화 성능을 낳는가?
• RQ5 프레임워크는 열화 모델에 대한 사전 지식 없이도 실제 세계의 열화 패턴에 일반화 가능한가?

주요 결과

• 변환 디코더를 포함한 RestoreDet(w/ $ D_t $) 는 KITTI 데이터셋에서 80.5% AP를 달성하여 베이스라인 CenterNet(42.2% AP) 및 ARRD 또는 $ D_t $ 만 사용한 모델들을 능가한다.
• 전체 RestoreDet(w/ $ D_t $ 와 $ D_r $) 는 비교된 모든 방법들 중에서 가장 높은 검출 정확도와 가장 빠른 추론 속도(FPS)를 기록했으며, 사전 처리 SR 모듈을 사용한 방법들 역시 포함된다.
• 고정된 내림샘플링(2× 및 4×) 조건에서 COCO에서 RestoreDet는 재학습 없이도 최신 기술 수준의 성능을 유지하여, 예측되지 않은 열화 수준에 대한 강력한 일반화 능력을 보여준다.
• ARRD가 생성한 출력은 표준 초해상도 방법보다 기계 시각 우량한 세부 정보를 보이며, 특히 객체 중심 부근에서 잡음과 잔상이 적다.
• 절단 실험 결과, $ D_t $ 와 $ D_r $ 이 성능 향상에 크게 기여하는 것으로 확인되었으며, $ D_t $ 는 강건성을 향상시키고 $ D_r $ 은 특징 무결성을 향상시킨다.
• 사전 처리 방법이 큰 객체 검출 성능을 떨어뜨리는 반면, 이 방법은 작은 객체에 대해 뛰어난 성능을 보이며, 큰 객체에 대해서도 강력한 성능 유지를 유지한다.