[논문 리뷰] General Participative Media Single Image Restoration.

Felipe Codevilla, Joel De O. Gaya외 2명|arXiv (Cornell University)|2016. 03. 06.

Image Enhancement Techniques참고 문헌 20인용 수 5

한 줄 요약

이 논문은 안개, 모래 폭풍, 탁한 물과 같은 참가 매체를 위한 일반적인 단일 이미지 복원 방법을 제안한다. 복원 방법은 복원 매체 내의 색상 변화를 모델링하고, 국소 대비 및 색상 사전을 복합 통계 사전을 통해 통합함으로써 다양한 조건에서 강력한 복원 성능을 달성한다. 실험은 참조 이미지가 있는지 여부에 관계없이 수중 및 안개 낀 이미지에서 수행되어 검증되었다.

ABSTRACT

This paper describes a method to restore degraded images captured in general participative media --- fog, turbid water, sand storm, etc. To obtain generality, we, first, propose a novel interpretation of the participative media image formation by considering the color variation of the media. Second, we introduce that joining different image priors is an effective alternative for image restoration. The proposed method contains a Composite Prior supported by statistics collected on both haze-free and degraded participative environment images. The key of the method is joining two complementary measures --- local contrast and color. The results presented for a variety of underwater and haze images demonstrate the power of the method. Moreover, we showed the potential of our method using a special dataset for which a reference haze-free image is available for comparison.

연구 동기 및 목표

• 안개, 모래 폭풍, 탁한 물과 같은 일반적인 참가 매체로 인한 이미지 복원 과제를 해결한다.
• 다양한 복원 매체에 내재된 색상 변화를 모델링하여 기존 방법의 한계를 극복한다.
• 참조 이미지나 시점에 특화된 가정에 의존하지 않는 일반적인 복원 프레임워크를 개발한다.
• 국소 대비와 색상 등의 보완적 이미지 사전을 통합된 통계 프레임워크에 통합하여 복원 정확도를 향상시킨다.
• 수중 및 안개 낀 환경을 포함한 다양한 실제 복원 이미지에 대해 효과성을 입증한다.

제안 방법

• 전통적인 균일한 복원 모델을 초월하여 참가 환경에서의 색상 변화를 고려한 새로운 이미지 형성 모델을 제안한다.
• 참조 없는 이미지와 복원된 이미지를 포함한 참가 환경 내 이미지의 통계 분석을 바탕으로 복합 사전(Composite Prior)을 도입한다.
• 복원 정확도 향상을 위해 국소 대비와 색상 사전을 보완적인 측정치로 통합한다.
• 단일 입력에서 참조 없는 이미지 특성을 복원하기 위해 복합 사전을 활용하는 공동 최적화 프레임워크를 사용한다.
• 실제 제약 조건을 반영하기 위해 참조 이미지가 있는지 여부에 관계없이 자체 구축한 데이터셋을 활용해 모델을 훈련하고 검증한다.

실험 결과

연구 질문

• RQ1 안개, 모래 폭풍, 탁한 물과 같은 다양한 참가 매체에 대해 이미지 복원을 어떻게 일반화할 수 있는가?
• RQ2 복원 매체 내 색상 변화를 얼마나 정확히 모델링할 수 있는가? 이는 복원 정확도 향상에 어떤 영향을 미치는가?
• RQ3 국소 대비와 색상 사전을 복합 통계 사전을 통해 통합하면 단일 사전 방법보다 성능이 뛰어나게 되는가?
• RQ4 특히 도전적인 환경에서 참조 이미지가 없는 상황에서 이 방법의 효과성은 어떠한가?
• RQ5 특정 시점에 맞추지 않고도 다양한 촬영 조건에 대해 일반화 가능한가?

주요 결과

• 제안된 방법은 참조 이미지가 없는 경우에도 다양한 수중 및 안개 낀 이미지에서 뛰어난 복원 품질을 달성한다.
• 복합 사전을 통한 국소 대비와 색상 사전의 통합은 구조적 및 색상 복원 정확도를 크게 향상시킨다.
• 이 방법은 안개, 모래 폭풍, 탁한 물과 같은 다양한 종류의 참가 매체에 대해 강력한 성능을 보인다.
• 참조 이미지가 포함된 특수 데이터셋에서의 정량적 결과는 기준 방법 대비 일관된 성능 향상을 확인한다.
• 통계적 복합 사전는 참조 없는 이미지와 복원된 이미지의 특성을 효과적으로 포착하여 일반화 능력을 향상시킨다.