[논문 리뷰] Markov Random Field Model-Based Salt and Pepper Noise Removal

Ahmadreza Baghaie|arXiv (Cornell University)|2016. 09. 20.

Image and Signal Denoising Methods참고 문헌 44인용 수 3

한 줄 요약

이 논문은 매끄러움 사전을 갖춘 그래프 컷을 사용하는 α-확장 이동을 포함한 마르코프 무작위 필드(MRF) 모델을 제안하여 소금과胡椒 노이즈 제거를 위해 제안한다. 문제는 매끄러움 사전을 갖춘 이미지 인painting으로 공식화된다. 이 방법은 신뢰성 있는 신호 대 잡음 비율(PSNR)과 더 빠른 계산 시간을 기록하여 신뢰성 있는 메시지 전달, 트리 재가중 메시지 전달, 반복 조건 모드보다 뛰어나며, 최대 90%의 손상이 있는 이미지에서 고정값 임펄스 노이즈 감소에 효과적임을 입증한다.

ABSTRACT

Problem of impulse noise reduction is a very well studied problem in image processing community and many different approaches have been proposed to tackle this problem. In the current work, the problem of fixed value impulse noise (salt and pepper) removal from images is investigated by use of a Markov Random Field (MRF) models with smoothness priors. After the formulation of the problem as an inpainting problem, graph cuts with $α$-expansion moves are considered for minimization of the energy functional. As for comparisons, several other minimization techniques that are widely used for MRF models' optimization are considered and the results are compared using Peak-Signal-to-Noise-Ratio (PSNR) and Structural Similarity Index (SSIM) as metrics. The investigations show the superiority of graph cuts with $α$-expansion moves over the other techniques both in terms of PSNR and also computational times.

연구 동기 및 목표

• 디지털 이미지에서 오랜 기간 동안 해결되지 않은 고정값 임펄스 노이즈(소금과胡椒) 문제를 확률적 그래픽 모델을 사용하여 해결하고자 한다.
• 노이즈 제거의 맥락에서 매끄러움 사전을 갖춘 마르코프 무작위 필드(MRF)를 사용한 이미지 인painting의 적용을 탐색하고자 한다.
• MRF 기반 노이즈 감소를 위한 여러 에너지 최소화 기법의 성능과 효율성에 대해 평가하고 비교하고자 한다.
• 단일 이미지 슈퍼레졸루션으로의 프레임워크 확장 가능성을 입증하고자 한다. 이는 업샘플링을 구조화된 인painting 문제로 간주함으로써 가능하다.

제안 방법

• 손상된 픽셀을 식별하기 위해 최소/최대 값 탐지를 수행하여 노이즈 위치를 나타내는 이진 마스크를 생성한다.
• 노이즈 제거 문제는 매끄러움 사전을 갖춘 마르코프 무작위 필드(MRF) 모델을 사용한 이미지 인painting 문제로 공식화된다.
• 데이터 적합성(마스크 기반)과 매끄러움 항목을 포함하는 에너지 기능을 정의하여 재구성 영역에서 공간 일관성을 장려한다.
• 그래프 컷과 α-확장 이동을 사용하여 에너지 기능을 최소화하며, 확장 이동을 통한 효율적인 최적화를 활용한다.
• MRF 모델에서 국소적인 매끄러움 제약 조건을 정의하기 위해 1차 4연결 이웃 시스템을 사용한다.
• 표준 테스트 이미지에서 노이즈 수준을 10%에서 90%까지 다양하게 설정하여 PSNR와 SSIM을 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 매끄러움 사전을 갖춘 마르코프 무작위 필드 모델은 소금과胡椒 노이즈로 손상된 이미지를 효과적으로 복원할 수 있는가?
• RQ2 신뢰성 있는 메시지 전달, TRW-S, ICM 등의 다른 MRF 최적화 기법과 비교할 때, 그래프 컷과 α-확장 이동은 노이즈 제거에서 PSNR와 계산 시간 측면에서 어떻게 비교되는가?
• RQ3 제안된 MRF 기반 인painting 프레임워크는 단일 이미지 슈퍼레졸루션과 같은 다른 이미지 복원 작업으로 일반화될 수 있는가?
• RQ4 다양한 이웃 시스템(예: 1차 vs. 고차수)은 재구성된 이미지의 품질에 어떤 영향을 미치는가?

주요 결과

• 그래프 컷과 α-확장 이동을 사용한 제안된 방법은 모든 테스트 노이즈 수준에서 가장 높은 PSNR 값을 기록하며, 신뢰성 있는 메시지 전달, 트리 재가중 메시지 전달, 반복 조건 모드보다 뚜렷하게 뛰어나다.
• 단일 반복 비용이 더 높지만, 그래프 컷과 α-확장 이동은 더 적은 반복 수로 수렴하여 다른 최적화 기법보다 전체적으로 더 낮은 계산 시간을 기록한다.
• 이 방법은 높은 구조 유사성(SSIM)을 유지하며, 기법 간의 차이가 미미하여 이미지 구조의 일관성 있는 유지가 가능하다.
• 이 프레임워크는 단일 이미지 슈퍼레졸루션으로 확장 가능하며, 2배 업샘플링 인과에서 저해상도 입력에서 고해상도 이미지를 성공적으로 재구성한다.
• 결과적으로, 제안된 방법은 2배 슈퍼레졸루션에서 페퍼스 이미지에서 PSNR 28.58과 SSIM 0.81을 기록하며, 다른 MRF 최적화 방법보다 뛰어난 성능을 보였다.
• 향후 향상은 특히 에지 근처에서 더 많은 맥락 정보를 포함하기 위해 고차수 이웃 시스템을 사용함으로써 달성될 수 있다.