[논문 리뷰] Multi-Scale Denoising in the Feature Space for Low-Light Instance Segmentation

Joanne Lin, Nantheera Anantrasirichai외 1명|arXiv (Cornell University)|2024. 02. 28.

Image Processing Techniques and Applications인용 수 4

한 줄 요약

이 논문은 Mask R-CNN의 특징 추출기 내부에 가중치가 부여된 비국소(NL) 블록을 통합하여, 사전 처리나 정렬된 진짜 정답이 필요 없이 특징 수준에서의 노이즈 제거가 가능한 엔드 투 엔드 방법을 제안한다. 이 방법은 사전 학습된 Mask R-CNN 대비 +10.0 AP 향상을 달성하며, 가중치가 부여된 NL 블록을 추가로 적용하면 추가로 +1.0 AP 향상을 기록하여 실제 저조도 조건에서 소형 및 노이즈가 많은 객체에 대해 성능을 크게 향상시킨다.

ABSTRACT

Instance segmentation for low-light imagery remains largely unexplored due to the challenges imposed by such conditions, for example shot noise due to low photon count, color distortions and reduced contrast. In this paper, we propose an end-to-end solution to address this challenging task. Our proposed method implements weighted non-local blocks (wNLB) in the feature extractor. This integration enables an inherent denoising process at the feature level. As a result, our method eliminates the need for aligned ground truth images during training, thus supporting training on real-world low-light datasets. We introduce additional learnable weights at each layer in order to enhance the network's adaptability to real-world noise characteristics, which affect different feature scales in different ways. Experimental results on several object detectors show that the proposed method outperforms the pretrained networks with an Average Precision (AP) improvement of at least +7.6, with the introduction of wNLB further enhancing AP by upto +1.3.

연구 동기 및 목표

• 실세계 저조도 sRGB 이미지에 대해 노이즈, 낮은 대비, 색상 왜곡으로 인해 성능이 떨어지는 강건한 인스턴스 세그멘테이션 방법의 부족을 해결하기 위해.
• 저조도 이미지 증강(LLIE) 등의 사전 처리 단계가 필요 없도록, 학습 중에 특징을 내재적으로 노이즈 제거할 수 있도록 모델을 설계하기 위해.
• 저조도 조건에서 특히 노이즈에 취약한 소형 객체의 성능 향상을 위해.
• 비국소 블록 내에서 학습 가능한 가중치를 사용하여 다양한 특징 스케일 간의 노이즈 특성에 적응 가능한 방법을 개발하기 위해.
• 쌍화된 정상 조도 이미지가 필요 없이 합성 저조도 데이터로 효과적으로 학습할 수 있도록 하여 실제 세계 데이터셋의 활용을 가능하게 하기 위해.

제안 방법

• Mask R-CNN의 백본에 가중치가 부여된 비국소(NL) 블록을 통합하여 특징 추출 과정에서 특징 수준의 노이즈 제거를 수행한다.
• 특징 스케일 별로 학습 가능한 가중치를 사용한 수정된 NL 연산을 적용하여 공간적 및 채널 차원에서 변화하는 노이즈를 적응적으로 억제한다.
• 비국소 블록 내부에서 임bedded Gaussian 유사도 함수를 사용하여 주의 메커니즘 유사 가중치를 계산함으로써 특징 표현의 강건성을 향상시킨다.
• COCO 데이터셋에서 저광량 조건을 시뮬레이션하여 저광량 조명 조건을 반영한 합성 저조도 데이터셋을 기반으로 모델을 엔드 투 엔드로 학습한다.
• 특징을 직접적으로 노이즈 제거함으로써 명시적인 사전 처리를 피하고, 실저조도 sRGB 이미지에 직접 추론할 수 있도록 한다.
• 소형 객체의 공간적 세부 정보를 유지하기 위해 FPN을 활용한 다중 스케일 특징 융합 전략을 사용한다.

(a)

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 LLIE 방법의 사전 처리에 의존하지 않고도 저조도 조건에서 강건한 인스턴스 세그멘테이션을 달성할 수 있는가?
• RQ2 가중치가 부여된 비국소 블록을 사용한 특징 수준의 노이즈 제거가 저조도 이미지의 인스턴스 세그멘테이션 성능 향상에 얼마나 효과적인가?
• RQ3 비국소 블록에 학습 가능한 가중치를 통합함으로써 특징 맵의 스케일별 노이즈 특성에 대한 적응성이 향상되는가?
• RQ4 LLIE 이후 인스턴스 세그멘테이션을 수행하는 이중 단계 파이프라인과 비교했을 때, 제안된 방법의 정확도 및 강건성은 어떠한가?
• RQ5 저조도 조건에서 노이즈에 가장 영향을 많이 받는 소형 객체에 대해 이 방법이 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 방법은 합성 저조도 데이터로 학습했을 때 표준 사전 학습된 Mask R-CNN 대비 +10.0 AP 향상을 달성한다.
• 가중치가 부여된 NL 블록을 추가로 적용하면 추가로 +1.0 AP 향상이 이루어져, 노이즈 억제 및 특징 정제에 효과적임을 입증한다.
• 최신 LLIE 모델(예: RetinexFormer, Zero-DCE++)을 사용하는 이중 단계 접근 방식보다 우수하며, 증강된 이미지에서 노이즈가 증폭되는 것을 방지한다.
• 비국소 블록의 임베딩된 가우시안 변형이 테스트된 변형들 중에서 가장 우수한 성능을 기록하여 16.6 AP를 달성했으며, 이는 자기주의 메커니즘 덕분으로 여겨진다.
• AP_S, AP_M, AP_L 등 모든 AP 지표에서 일관된 향상이 관찰되어 소형, 중형, 대형 객체 모두에 대한 강건성이 향상됨을 시사한다.
• 시각적 결과는 기준 모델이 실패하는 경우에도 소형 및 먼 거리에 있는 객체(예: 먼 거리의 작은 소)를 성공적으로 세그멘테이션함을 확인한다. 특히 고노이즈 조건에서 두드러진 성능 향상을 보인다.

(b)