[논문 리뷰] UG$^{2+}$ Track 2: A Collective Benchmark Effort for Evaluating and Advancing Image Understanding in Poor Visibility Environments

Ye Yuan, Wenhan Yang외 4명|arXiv (Cornell University)|2019. 04. 09.

Image Enhancement Techniques참고 문헌 149인용 수 36

한 줄 요약

이 논문은 UG2+ Track 2를 소개하는데, 세 가지 실제 데이터 세트(haze, low light, raindrop)로 악화된 가시성 하에서 객체/얼굴 탐지를 공동으로 평가하고 향상시키는 벤치마크이며, 기초 결과를 보고 개선 여지가 크다는 것을 보여준다.

ABSTRACT

The UG$^{2+}$ challenge in IEEE CVPR 2019 aims to evoke a comprehensive discussion and exploration about how low-level vision techniques can benefit the high-level automatic visual recognition in various scenarios. In its second track, we focus on object or face detection in poor visibility enhancements caused by bad weathers (haze, rain) and low light conditions. While existing enhancement methods are empirically expected to help the high-level end task, that is observed to not always be the case in practice. To provide a more thorough examination and fair comparison, we introduce three benchmark sets collected in real-world hazy, rainy, and low-light conditions, respectively, with annotate objects/faces annotated. To our best knowledge, this is the first and currently largest effort of its kind. Baseline results by cascading existing enhancement and detection models are reported, indicating the highly challenging nature of our new data as well as the large room for further technical innovations. We expect a large participation from the broad research community to address these challenges together.

연구 동기 및 목표

• 자연 환경에서의 탐지 강건성 평가를 통해 자연 환경에서의 시각 센싱 동기를 제시한다.
• 안개, 과 노출 및 강우 효과를 연구하기 위한 주석이 있는 세 개의 실세계 데이터 세트를 제공한다.
• 저수준 비전 개선이 고수준 인식에 도움을 주는지 평가하고 부분/제로샷 학습 설정을 탐구한다.
• 갭을 정량화하고 향후 방법론적 혁신을 추진하기 위해 벤치마인 결과를 제공한다.

제안 방법

• 모든 하위 챌린지는 서로 다른 가시성 저하 조건을 포착한다: 안개(챌린지 2.1), 저조도/미노출(챌린지 2.2), 그리고 빗방울 가림(챌린지 2.3).
• 새로운 벤치마크 데이터 세트가 제공된다: 안개 장면용 RESIDE RTTS는 4,322장의 주석 이미지로 학습/검증 및 5개 객체 범주에 걸친 2,987장의 보류 안개 테스트 이미지; DARK FACE는 학습/검증용 10,000개의 주석된 얼굴(43,849개 얼굴) 및 4,000개의 테스트 이미지; 낮은 노출로 인한 얼굴 탐지를 위한 근-zero-shot 학습용 1,010개의 빗방울 이미지 쌍과 2,495장의 보류 테스트 세트.
• 기준 평가는 오브젝트 탐지 성능에 저하 및 복원/향상 효과를 정량화하기 위해 즉시 사용 가능한 복원/향상 방법과 사전 학습된 탐지기를 사용한다.
• 평가지표는 IoU 임계값 0.5에서의 평균 정밀도(mAP)이며, mAP가 0.5에서 동점일 때 더 높은 IoU를 사용해 가중치를 결정한다.

실험 결과

연구 질문

• RQ1 현재의 객체/얼굴 탐지가 현장 실환경의 안개, 비, 저조도 이미지에 대해 작업 특화 적응 없이 어떻게 수행되는가?
• RQ2 전통적인 복원/향상 파이프라인이 악화된 가시성 하에서 고수준 탐지/인식 성능을 향상시킬 수 있는가?
• RQ3 감쇠된 환경에서 탐지를 위한 (부분)감독 학습 또는 제로샷 학습 설정의 이점은 무엇인가?
• RQ4 실세계 저하 현상이 합성된 것과 탐지기 성능 및 평가 측면에서 어떻게 다른가?
• RQ5 저수준 향상과 고수준 인식을 공동으로 최적화하는 데 있어 한계와 방향은 무엇인가?

주요 결과

• 기본적으로 깨끗한 데이터에서 사전 학습된 탐지기는 안개 이미지에서 성능 저하가 크게 나타나며, Mask R-CNN은 안개 검증 데이터에서 약 41.83 mAP를 달성하는 등 다른 탐지기에서도 유사한 결과를 보인다.
• 디헤이징은 해결된 이미지에 탐지를 적용할 때 탐지 성능을 다소 개선할 수 있으며(평균 mAP 약 1%), 테스트된 탐지기 중에서 Mask R-CNN이 종종 가장 우수한 탐지 성능을 보인다.
• 하위 챌린지 2.1에서 보류 시험 세트의 결과는 검증보다 훨씬 낮아 도메인 차이와 실세계 안개 장면의 도전성을 시사한다(예: 테스트 mAP 수치가 십대대가 아닌 십대 수치).
• 하위 챌린지 2.2는 학습/검증용으로 10,000개의 주석 얼굴(43,849개 얼굴)과 4,000개의 테스트 이미지(37,711개 얼굴)를 사용한 DARK FACE 데이터셋을 이용해, 저노출 하에서 얼굴 탐지를 위한 규모, 포즈 및 조명의 큰 변동성을 보인다.
• 하위 챌린지 2.3은 학습/검증용으로 1,010개의 빗방울 쌍과 보류 테스트 세트 2,495장을 제공하며, 초기 결과는 제로샷/비지도 설정이 빗발 현상으로 인한 가림 하에서 도로 물체 탐지에 대해 여전히 어려움을 보인다.
• 전반적으로 본 논문은 챌린지 2.1 및 2.2에서 우승자들이 65 mAP 이하를 달성했고, 챌린지 2.3에서는 기초 결과를 능가하는 참가자가 없다고 보고하여 높은 난이도와 방법론적 발전의 여지가 있음을 강조한다.