[논문 리뷰] Towards Fast and Light-Weight Restoration of Dark Images

Mohit Lamba, Atul Balaji외 1명|arXiv (Cornell University)|2020. 11. 28.

Image Enhancement Techniques참고 문헌 24인용 수 15

한 줄 요약

이 논문은 실시간으로 초암흑 고해상도 영상을 강화하기 위한 빠르고 경량의 딥러닝 아키텍처인 LLPackNet을 제안한다. 새로운 Pack 및 UnPack 연산을 사용해 대부분의 계산을 저해상도 공간에서 수행함으로써, 기존 최고 수준의 방법 대비 모델 파라미터를 2–7배 감소시키고 메모리 사용량을 2–3배 줄이며 추론 시간을 5–20배 빠르게 한다. 이로 인해 2848×4256 해상도 영상에 대해 CPU에서 약 3초 내로 거의 실시간 성능을 달성하면서도 경쟁 가능한 복원 품질을 유지한다.

ABSTRACT

The ability to capture good quality images in the dark and near-zero lux conditions has been a long-standing pursuit of the computer vision community. The seminal work by Chen et al. [5] has especially caused renewed interest in this area, resulting in methods that build on top of their work in a bid to improve the reconstruction. However, for practical utility and deployment of low-light enhancement algorithms on edge devices such as embedded systems, surveillance cameras, autonomous robots and smartphones, the solution must respect additional constraints such as limited GPU memory and processing power. With this in mind, we propose a deep neural network architecture that aims to strike a balance between the network latency, memory utilization, model parameters, and reconstruction quality. The key idea is to forbid computations in the High-Resolution (HR) space and limit them to a Low-Resolution (LR) space. However, doing the bulk of computations in the LR space causes artifacts in the restored image. We thus propose Pack and UnPack operations, which allow us to effectively transit between the HR and LR spaces without incurring much artifacts in the restored image. We show that we can enhance a full resolution, 2848 x 4256, extremely dark single-image in the ballpark of 3 seconds even on a CPU. We achieve this with 2 - 7x fewer model parameters, 2 - 3x lower memory utilization, 5 - 20x speed up and yet maintain a competitive image reconstruction quality compared to the state-of-the-art algorithms.

연구 동기 및 목표

• 엣지 디바이스에서 제한된 자원 조건에서도 실시간으로 초암흑 고해상도 영상을 강화하는 과제를 해결한다.
• 높은 GPU 메모리와 처리 능력을 요구하는 기존 방법의 한계를 극복한다.
• 모델 크기, 지연 시간, 메모리 사용량을 최소화하면서도 높은 복원 품질을 유지하는 네트워크를 설계한다.
• 추론 시 진짜 레이블을 기반으로 하지 않고도 자동으로 증폭 계수를 추정할 수 있는 자체 포함형 메커니즘을 개발한다.
• 제한된 계산 자원을 가진 임베디드 시스템, 스마트폰, 감시 카메라 등에 저조도 강화 기술을 실용적으로 구현할 수 있도록 한다.

제안 방법

• 특징 맵을 α 배수로 저해상도로 다운샘플링하는 새로운 Pack 연산을 제안한다. 이는 공간 픽셀을 채널 차원으로 재배열함으로써 정보를 유지하면서도 대규모 다운샘플링을 가능하게 한다.
• 전치 컨벌루션과 보간법의 대안으로서 학습 가능한 빠른 업샘플링 방법인 UnPack 연산을 도입하여 저해상도 특징에서 효율적인 복원을 가능하게 한다.
• 모든 주요 네트워크 계산을 저해상도 공간으로 제한함으로써 계산 비용과 메모리 사용량을 크게 줄인다.
• 입력에 적응하는 경량의 증폭 메커니즘을 통합하여 입력에서 직접 최적의 이미지 증폭 계수를 추정함으로써 추론 시 진짜 레이블 의존도를 제거한다.
• Pack 연산이 제공하는 넓은 수신장과 결합된 다중 척도 특징 융합 전략을 사용해 세부 사항 복원 성능을 향상시킨다.
• 표준 업샘플링 레이어(예: 전치 컨벌루션)를 UnPack으로 대체함으로써 파라미터 수를 감소시키고 추론 속도를 향상시킨다.

실험 결과

연구 질문

• RQ1 제한된 메모리와 처리 능력을 가진 CPU 및 엣지 디바이스에서 작동하면서도 고품질의 암흑 영상 복원을 달성할 수 있는 딥 뉴럴 네트워크는 가능한가?
• RQ2 정보 손실을 최소화하면서도 대규모 다운샘플링을 수행할 수 있는 방법은 무엇인가? 이는 저해상도 특징 공간에서의 효율적 계산을 가능하게 한다.
• RQ3 최소한의 아티팩트와 계산 비용으로 고해상도로 특징을 업샘플링하는 가장 효과적이고 효율적인 방법은 무엇인가?
• RQ4 진짜 레이블 없이도 입력 이미지에서 자동으로 저조도 영상의 증폭 계수를 추정할 수 있는가?
• RQ5 기존의 다운샘플링 및 업샘플링 방법과 비교할 때 제안된 Pack/UnPack 메커니즘은 속도, 메모리 사용량, 복원 품질 측면에서 어떻게 성능을 냈는가?

주요 결과

• LLPackNet은 CPU에서 2848×4256 해상도의 초암흑 영상을 약 3초 내로 강화하여 기존 방법보다 빠른 성능을 달성한다.
• 기존 최고 수준의 접근 방식 대비 모델 파라미터를 2–7배 감소시키고 메모리 사용량을 2–3배 줄였다.
• SOTA 네트워크 대비 추론 속도를 5–20배 향상시켰으며, UnPack 연산은 전치 컨벌루션 대비 3–4배 더 빠르게 동작한다.
• 대규모 다운샘플링 및 업샘플링에 대해 Max-pooling, 스탠다드 컨벌루션, 보간법과 비교해 제안된 Pack/UnPack 연산이 더 우수한 특징 보존 및 복원 품질을 확보한다.
• 자동 증폭 메커니즘이 진짜 레이블 없이도 알려지지 않은 장면에서도 강력한 성능을 발휘함을 입증한다.
• 정성적 결과 분석에서 LLPackNet-4×는 LLPackNet-8×보다 더 뛰어난 색상 충실도와 낮은 블러를 보여주어 적응형 다운샘플링 계수의 유용성을 입증한다.