[논문 리뷰] Learning with Nested Scene Modeling and Cooperative Architecture Search for Low-Light Vision

Risheng Liu, Long Ma외 3명|arXiv (Cornell University)|2021. 12. 09.

Visual Attention and Saliency Detection인용 수 9

한 줄 요약

이 논문은 리티누스 유도(unrolling)를 통한 내재된 시점 모델링과 협동 가능한 미분 가능 아키텍처 탐색을 융합한 일반적인 학습 프레임워크인 RUAS를 제안한다. 비순차적이고 시점 에너지 제약이 가해진 공식을 통해 시점 및 작업 아키텍처를 동시에 최적화함으로써, 저조도 영상 강화, 객체 검출, 세분화 작업에서 최신 기술 수준의 성능을 달성하면서도 계산 비용을 감소시킨다.

ABSTRACT

Images captured from low-light scenes often suffer from severe degradations, including low visibility, color cast and intensive noises, etc. These factors not only affect image qualities, but also degrade the performance of downstream Low-Light Vision (LLV) applications. A variety of deep learning methods have been proposed to enhance the visual quality of low-light images. However, these approaches mostly rely on significant architecture engineering to obtain proper low-light models and often suffer from high computational burden. Furthermore, it is still challenging to extend these enhancement techniques to handle other LLVs. To partially address above issues, we establish Retinex-inspired Unrolling with Architecture Search (RUAS), a general learning framework, which not only can address low-light enhancement task, but also has the flexibility to handle other more challenging downstream vision applications. Specifically, we first establish a nested optimization formulation, together with an unrolling strategy, to explore underlying principles of a series of LLV tasks. Furthermore, we construct a differentiable strategy to cooperatively search specific scene and task architectures for RUAS. Last but not least, we demonstrate how to apply RUAS for both low- and high-level LLV applications (e.g., enhancement, detection and segmentation). Extensive experiments verify the flexibility, effectiveness, and efficiency of RUAS.

연구 동기 및 목표

• 기존의 저조도 시각 기법들이 수작업으로 설계된 아키텍처에 크게 의존하고, 다양한 작업 간 일반화에 실패하는 한계를 해결하기 위해.
• 다양한 저조도 시각 응용 분야에서 시점 모델링과 작업 특화 아키텍처를 함께 최적화할 수 있는 통합 프레임워크를 개발하기 위해.
• 저조도 조건에서 저수준 및 고수준 시각 작업의 성능을 유지하거나 향상시키면서도 계산 부담을 줄이기 위해.
• 객체 검출 및 세분화와 같은 후행 인식 작업으로의 저조도 강화 효과적인 전이를 가능하게 하기 위해.

제안 방법

• 내재된 시점 성질을 모델링하기 위해 저조도 시각을 시점 에너지 제약이 가해진 학습 문제로 공식화한다.
• 일조 및 반사 성분을 포착할 수 있는 미분 가능한 학습 목표를 도출하기 위해 리티누스 유도(unrolling) 전략을 도입한다.
• 쌍체의 실제 세계 데이터가 필요 없이도 학습을 이끄는 비지도 시점 중심 손실을 제안한다.
• 시점 모델링 및 작업 특화 모듈을 위한 최적의 네트워크 아키텍처를 함께 탐색하기 위해 협동 가능한 미분 가능 아키텍처 탐색(CDAS)을 활용한다.
• 내부 루프는 모델을 훈련시키고, 외부 루프는 기울기 기반 최적화를 통해 아키텍처 탐색을 수행하는 이중 최적화 프레임워크를 적용한다.
• 공유된 시점 모델링을 통해 저수준(강화) 및 고수준(검출, 세분화) 시각 작업에 학습된 RUAS 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 통합 학습 프레임워크는 다양한 시각 작업 간 저조도 시점 특성을 효과적으로 모델링할 수 있는가?
• RQ2 시점 모델링과 작업 특화 아키텍처를 함께 최적화하면 저조도 시각에서 성능과 효율성이 향상되는가?
• RQ3 쌍체 없는 자율 학습, 시점 중심 손실은 쌍체 감독 없이 저조도 조건에서 일반화를 얼마나 향상시킬 수 있는가?
• RQ4 협동 가능한 아키텍처 탐색 전략은 수작업 설계된 아키텍처에 비해 더 효율적이고 효과적인 모델을 이끌어내는가?

주요 결과

• ACDC 데이터셋에서 저조도 세분화 작업에 대해 RUAS는 DANNet과 같은 최신 기술 수준의 방법들보다 높은 mIoU를 기록했다.
• ExDark 데이터셋에서 RUAS는 낮은 시야 및 노이즈 조건에서도 경쟁 기법들보다 더 많은 객체를 정확하게 검출하는 데 성공했다.
• DARK FACE 데이터셋에서 객체 검출 작업에서 RUAS는 평균 정밀도와 재현율이 가장 높았으며, 특히 강화된 이미지로 검출기 재학습을 수행한 후 더욱 뚜렷한 성능 향상을 보였다.
• 복잡한 시점에서 저조도 조건이 악영향을 미치는 복잡한 시점에서 기존 기반 기법들에 비해 세분화 맵의 잡음 요소를 크게 감소시켰다.
• LOL 데이터셋에서 저조도 영상 강화 작업에 대해 RUAS는 시각적 품질 향상과 노이즈 감소를 동시에 달성하여 최신 기술 수준의 성능을 기록했다.
• 협동 가능한 아키텍처 탐색 전략은 더 큰 수작업 설계된 네트워크보다 성능을 유지하거나 초월하면서도 FLOPs가 낮은 더 효율적인 모델을 도출했다.