[논문 리뷰] Rank-One Prior: Toward Real-Time Scene Recovery

Jun Liu, Ryan Wen Liu외 2명|arXiv (Cornell University)|2021. 03. 31.

Image Enhancement Techniques참고 문헌 52인용 수 6

한 줄 요약

이 논문은 강도 투사 기반의 질량-일차 전이 우선순위를 사용하여 실시간 장면 복구 방법을 제안한다. 이는 흐림, 수중, 모래 폭풍으로 인한 이미지의 효율적이고 강건한 복원을 가능하게 한다. 각 이미지당 시간 복잡도가 O(N)이며, 최신 기술 대비 속도, 시각적 품질, 자연스러움 측면에서 뛰어나면서도 실시간 성능 유지를 한다.

ABSTRACT

Scene recovery is a fundamental imaging task for several practical applications, e.g., video surveillance and autonomous vehicles, etc. To improve visual quality under different weather/imaging conditions, we propose a real-time light correction method to recover the degraded scenes in the cases of sandstorms, underwater, and haze. The heart of our work is that we propose an intensity projection strategy to estimate the transmission. This strategy is motivated by a straightforward rank-one transmission prior. The complexity of transmission estimation is $O(N)$ where $N$ is the size of the single image. Then we can recover the scene in real-time. Comprehensive experiments on different types of weather/imaging conditions illustrate that our method outperforms competitively several state-of-the-art imaging methods in terms of efficiency and robustness.

연구 동기 및 목표

• Nieb, 수중, 모래 폭풍과 같은 악천후 조건에서 실시간 장면 복구의 과제를 해결한다.
• 큰 쌍방향 데이터셋이 필요한 딥 러닝 기반 방법의 한계를 극복하기 위해 물리 기반의 데이터 효율적인 대안을 제안한다.
• 다양한 오염 유형에 대해 계산 효율적이고 효과적인 전이 추정 방법을 개발한다.
• 기존의 우선순위 기반 및 학습 기반 방법 대비 대비, 콘trast, 색채도, 선명도 측면에서 개선된 시각적 품질을 확보한다.

제안 방법

• 이미지 전역에서 환경 빛을 동일한 스펙트럼으로 모델링할 수 있다는 가정에 기반한 일차 전이 우선순위를 제안한다.
• 관측된 이미지 스펙트럼을 통합된 환경 스펙트럼에 투사함으로써 전이를 추정한다.
• 통합된 스펙트럼을 사용한 선형 근사로 전이 추정을 공식화하여 복잡도를 O(N)으로 감소시킨다. 여기서 N은 이미지 크기이다.
• 전체 이미지에서 글로벌 환경 빛 A를 추정하여 통합 스펙트럼을 정의함으로써 강건한 전이 계산을 가능하게 한다.
• 물리적 이미지 형성 모델 I(x) = t(x)J(x) + t̃(x)A를 사용하여 장면 빛강도 J를 재구성하며, t(x)는 강도 투사로부터 유도된다.
• 학습 데이터나 복잡한 네트워크 없이도 종단 간(end-to-end)으로 실시간으로 오염된 이미지를 복원한다.

실험 결과

연구 질문

• RQ1 일차 전이 우선순위는 실시간 장면 복구를 위한 빠르고 정확한 전이 추정을 가능하게 할 수 있는가?
• RQ2 통합된 환경 스펙트럼 기반의 강도 투사 전략은 어둠자연 우선순위(DCP)와 같은 기존 우선순위 대비 강건성과 효율성 측면에서 어떻게 비교되는가?
• RQ3 학습 기반 접근법에 비해 비학습, 물리 기반 방법이 모래 폭풍 이미징과 같은 저데이터 환경에서 얼마나 뛰어난 성능을 보일 수 있는가?
• RQ4 제안된 방법은 스모크, 수중, 모래 폭풍과 같은 다양한 오염 유형에서 최신 기술 대비 자연스러운 색상과 대비를 더 잘 유지하는가?

주요 결과

• 제안된 방법은 O(N) 복잡도를 가지며 실시간 성능를 확보하여 영상 감시 및 자율주행 차량과 같은 실용적 응용에 적합하다.
• 시각적 결과는 DCP, MSCNN, LDCP, AODNet 대비 뛰어난 색채도, 선명도, 대비를 보이며, 특히 하늘 영역에서 두드러진다.
• 제거된 스모크 결과에서 하늘이 DCP가 생성하는 비현실적인 파란 하늘과 LDCP의 비현실적인 결과에 비해 더 자연스럽고 현실적으로 보인다.
• DCP가 영역 내에서 강도가 0인 픽셀이 부족하여 실패하는 큰 하늘 영역 처리에서 DCP 및 LDCP를 초월한다.
• RESIDE 데이터셋 결과는 학습 데이터가 전혀 필요 없음에도 불구하고 MSCNN 및 AODNet과 같은 딥 러닝 기반 방법과 경쟁 가능한 성능을 보였다.
• 이 방법은 스모크, 수중, 모래 폭풍 등 다양한 오염 유형에서 강건하며, 일관된 시각적 품질 향상을 보였다.