[논문 리뷰] Underwater Image Haze Removal and Color Correction with an Underwater-ready Dark Channel Prior

Tomasz Łuczyński, Andreas Birk|arXiv (Cornell University)|2018. 07. 11.

Image Enhancement Techniques참고 문헌 16인용 수 9

한 줄 요약

이 논문은 산란으로 인한 파란-초록색 색조 이동을 고려해 전역 대기 빛 추정을 재정의함으로써 수중 환경에 적합한 다크 채널 프리오르 방법을 제안한다. 이는 수중 영상에서 안개 제거 및 색상 보정 성능을 향상시킨다. 다양한 해양 환경에서의 실제 데이터에서 기존 DCP 적응 기법보다 뛰어난 성능을 보이며, 어려운 조명 조건과 변동하는 수질로 인한 도전에도 불구하고 강력한 스테레오 비전 및 향상된 시cene 인식을 가능하게 한다.

ABSTRACT

Underwater images suffer from extremely unfavourable conditions. Light is heavily attenuated and scattered. Attenuation creates change in hue, scattering causes so called veiling light. General state of the art methods for enhancing image quality are either unreliable or cannot be easily used in underwater operations. On the other hand there is a well known method for haze removal in air, called Dark Channel Prior. Even though there are known adaptations of this method to underwater applications, they do not always work correctly. This work elaborates and improves upon the initial concept presented in [1]. A modification to the Dark Channel Prior is proposed that allows for an easy application to underwater images. It is also shown that our method outperforms competing solutions based on the Dark Channel Prior. Experiments on real-life data collected within the DexROV project are also presented, showing the robustness and high performance of the proposed algorithm.

연구 동기 및 목표

• 산란과 색조 이동으로 인해 성능이 저하되는 기존 다크 채널 프리오르 적응 기법의 한계를 해결하기 위해.
• 표준 DCP 방법이 잘못된 대기 빛 추정으로 인해 수중 조건에서 신뢰성이 떨어지는 문제를 해결하기 위해.
• 핵심 DCP 프레임워크를 유지하면서 수중 산란 특성에 맞게 대기 빛 추정만 수정하는 방법을 개발하기 위해.
• 이동 중인 ROV와 같은 동적 수중 작업에 적용 가능하도록, 변동하는 시야 및 수질 조건에서도 강력한 성능을 확보하기 위해.
• 실제 수중 시나리오에서 3D 스테레오 재구성 및 물체 인식과 같은 후속 작업에 대한 영상 활용도를 크게 향상시키기 위해.

제안 방법

• 강한 산란 영역에서 관찰된 파란-초록색 색조 이동을 활용해 전역 대기 빛 A의 추정을 재정의함으로써 다크 채널 프리오르를 수중 환경에 적응시킴.
• 높은 산란 강도가 파란-초록색 색채도 증가와 관련이 있으며, 이는 시점의 구조를 유지하는 방식으로 A의 선택을 안내함.
• 전송 추정 및 영상 복원에 대해 원래 DCP 프레임워크를 유지함으로써 핵심 알고리즘의 복잡한 수정을 피함.
• 균일한 깊이 영역에서 局소화된 화이트 밸런스 보정을 적용하여, 특히 물체 경계 근처에서의 색상 왜곡을 최소화함.
• 다양한 환경 조건에서 방법을 검증하기 위해 DexROV 프로젝트 및 고고학적 유적지에서 확보한 실제 수중 영상 데이터를 활용함.
• 지중해 및 아드리아해의 실제 비디오 시퀀스에 방법을 적용하여, 수질 탁도 및 색조의 다양성에 따른 강건성을 테스트함.

실험 결과

연구 질문

• RQ1 왜 표준 다크 채널 프리오르 적응 기법은 강한 산란과 색조 이동이 있는 수중 환경에서 실패하는가?
• RQ2 다크 채널 프리오르의 대기 빛 추정은 수중 산란의 고유한 스펙트럼 특성을 어떻게 반영할 수 있는가?
• RQ3 핵심 DCP 프레임워크를 변경하지 않고도 다양한 수중 조건에서 신뢰할 수 있는 안개 제거 및 색상 보정을 달성할 수 있는가?
• RQ4 제안된 방법은 실제 수중 ROV 운영에서 3D 스테레오 재구성과 같은 후속 작업에 대해 영상 품질을 어느 정도 향상시키는가?
• RQ5 기존 최첨단 기법과 비교해, 수질, 깊이, 스펙트럼 특성이 다양하게 변하는 실제 데이터에서 이 방법은 어떤 성능을 보이는가?

주요 결과

• 제안된 방법은 원시 수중 영상에서의 시점 가시도를 크게 향상시켜, 도구의 메쉬나 ROV 모형에 인쇄된 로고와 같은 미세한 구조적 세부 정보를 식별할 수 있게 했다.
• 지중해 ROV 케이지 데이터셋에서 보정된 영상은 원시 영상에서 거의 보이지 않던 장거리에서도 케이지를 명확히 식별할 수 있게 했다.
• 아드리아해의 그날리크 선실 유적지에서 보정된 영상은 원시 영상에서 안개로 가려져 있던 도구 상자에 있는 금속 메쉬와 같은 이전에 감지되지 않았던 세부 정보를 드러냈다.
• 강한 초록색 수질 조건에서도 강건성을 입증하였으며, DexROV 모형 데이터셋에서 색상 정확도를 유지하면서 세부 정보를 향상시켰다.
• 모서리나 과노출 영역에서 약간의 색상 아티팩트가 있었지만, 보정된 영상은 특히 스테레오 처리에 있어 원시 영상보다 훨씬 더 유용한 정보를 제공했다.
• 실제 시험에서 기존 DCP 적응 기법보다 뛰어난 성능을 보이며, 신뢰할 수 있는 영상 품질이 필수적인 동적 수중 운영에 효과적임을 입증했다.