[논문 리뷰] PE-YOLO: Pyramid Enhancement Network for Dark Object Detection

Xiangchen Yin, Zhenda Yu외 3명|arXiv (Cornell University)|2023. 07. 20.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 저조도 조건에서의 객체 검출 성능을 햖थ기 위해 YOLOv3에 피라미드 강화 네트워크(PENet)를 통합한 엔드 투 엔드 어두운 객체 검출 프레임워크인 PE-YOLO를 제안한다. PENet는 라플라시안 피라미드 분해, 맥락과 에지 브랜치를 갖춘 세부 처리 모듈(DPM), 그리고 저주파 강화 필터(LEF)를 사용하여 세부 사항을 복원하고 노이즈를 억제하며, 추가적인 감독 없이도 ExDark 데이터셋에서 78.0% mAP와 53.6 FPS를 달성한다.

ABSTRACT

Current object detection models have achieved good results on many benchmark datasets, detecting objects in dark conditions remains a large challenge. To address this issue, we propose a pyramid enhanced network (PENet) and joint it with YOLOv3 to build a dark object detection framework named PE-YOLO. Firstly, PENet decomposes the image into four components of different resolutions using the Laplacian pyramid. Specifically we propose a detail processing module (DPM) to enhance the detail of images, which consists of context branch and edge branch. In addition, we propose a low-frequency enhancement filter (LEF) to capture low-frequency semantics and prevent high-frequency noise. PE-YOLO adopts an end-to-end joint training approach and only uses normal detection loss to simplify the training process. We conduct experiments on the low-light object detection dataset ExDark to demonstrate the effectiveness of ours. The results indicate that compared with other dark detectors and low-light enhancement models, PE-YOLO achieves the advanced results, achieving 78.0% in mAP and 53.6 in FPS, respectively, which can adapt to object detection under different low-light conditions. The code is available at https://github.com/XiangchenYin/PE-YOLO.

연구 동기 및 목표

• 기존 모델이 낮은 품질의 이미지로 인해 성능이 저하되는 저조도 조건에서의 강력한 객체 검출 문제를 해결하기 위해.
• 쌍화된 진짜 이미지가 필요 없는 경량이며 엔드 투 엔드 학습 가능한 프레임워크를 개발하기 위해.
• 고주파 세부 정보와 저주파 의미 정보를 모두 캡처하여 어두운 환경에서의 특징 표현을 향상시키기 위해.
• 어두운 객체 검출에서 높은 검출 정확도와 실시간 추론 속도를 달성하기 위해.

제안 방법

• PENet는 라플라시안 피라미드를 사용해 입력 이미지를 네 가지 해상도 수준으로 분해하여 다중 척도 특징 강화를 가능하게 한다.
• 세부 처리 모듈(DPM)은 장거리 의존성을 캡처하는 맥락 브랜치와 텍스처 세부 정보를 강화하는 에지 브랜치로 구성된다.
• 저주파 강화 필터(LEF)는 의미 정보가 풍부한 저주파 성분을 추출하고 고주파 노이즈를 억제하기 위해 동적 저통과 필터를 적용한다.
• PE-YOLO는 표준 검출 손실만을 사용하여 PENet와 YOLOv3를 공동으로 학습함으로써 보조 감독 없이 엔드 투 엔드 최적화를 가능하게 한다.
• 프레임워크는 여러 피라미드 수준에서 특징을 처리하고, 검출 이전에 강화된 표현을 융합한다.
• 모델은 쌍화된 저조도 및 정상 조도 이미지가 필요 없이 표준 YOLOv3 손실 함수를 사용해 ExDark 데이터셋에서 엔드 투 엔드로 학습된다.

Figure 1: Example of dark object detection. In dark conditions PE-YOLO can recover more potential information of object to get better detection results.

실험 결과

연구 질문

• RQ1 다중 척도 피라미드 기반 강화 네트워크가 저조도 조건에서의 객체 검출 성능 향상에 기여하는가?
• RQ2 맥락과 에지 브랜치를 별도로 갖춘 세부 처리 모듈이 낮은 조도 조건에서 이미지 세부 정보 복원에 얼마나 효과적인가?
• RQ3 저주파 의미 강화는 노이즈를 증폭시키지 않고 검출 정확도 향상에 얼마나 기여하는가?
• RQ4 단지 검출 손실만을 사용하는 엔드 투 엔드 학습 전략이 어두운 객체 검출에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• PE-YOLO는 ExDark 데이터셋에서 78.0% mAP를 달성하여 YOLOv3, DENet, IAT-YOLO 및 기타 최신 어두운 검출기들을 능가한다.
• 모델은 53.6 FPS를 기록하여 추가적인 강화 모듈에도 불구하고 뛰어난 실시간 추론 능력을 보여준다.
• 절단 실험 결과, 맥락 브랜치, 에지 브랜치, LEF 각각의 구성 요소가 mAP 향상에 점진적으로 기여하며, 전체 모델은 78.0%에 도달한다.
• 맥락 및 에지 브랜치를 모두 갖춘 DPM은 기본 YOLOv3 대비 mAP를 1.6%p 향상시켰다.
• DPM 전용 모델 대비 LEF 구성 요소가 mAP를 0.4%p 향상시켜 의미 일관성 유지에 기여하는 것을 확인했다.
• 시각적 비교 결과, PE-YOLO는 MBLLEN과 Zero-DCE보다 노이즈 억제 성능이 뛰어나 어두운 환경에서 더 정확한 검출을 가능하게 했다.

Figure 2: Overview of PE-YOLO. We use detail processing module (DPM) and low-frequency enhancement filter (LEF) to enhance the images.