[논문 리뷰] Vector Nonlocal Euclidean Median: Principal Bundle Captures The Nature of Patch Space

Chen-Yun Lin, Arin Minasian외 2명|arXiv (Cornell University)|2016. 11. 15.

Image and Signal Denoising Methods참고 문헌 38인용 수 3

한 줄 요약

이 논문은 비틀림 불변성을 SO(2) 군 작용을 통해 포착하기 위해 편미분기하학적 구조를 사용하여 패치 공간을 모델링하는 새로운 영상 노이즈 제거 알고리즘인 벡터 비국소 유클리드 중앙값(VNLEM)을 제안한다. SIFT에서 유도된 방향 특징과 리emann 내적 거리(RID)를 통합함으로써 기존 NLEM에 비해 강인성과 노이즈 제거 성능을 향상시켰으며, 1,361장의 영상 데이터베이스에서 오차 기반 및 인간 시각 시스템 기반 영상 품질 평가 모두에서 뛰어난 성능을 달성한다.

ABSTRACT

We extensively study the rotational group structure inside the patch space by introducing the fiber bundle structure. The rotational group structure leads to a new image denoising algorithm called the extit{vector non-local Euclidean median} (VNLEM). The theoretical aspect of VNLEM is studied, which explains why the VNLEM and traditional non-local mean/non-local Euclidean median (NLEM) algorithm work. The numerical issue of the VNLEM is improved by taking the orientation feature in the commonly applied scale-invariant feature transform (SIFT), and a theoretical analysis of the robustness of the orientation feature in the SIFT is provided. The VNLEM is applied to an image database of 1,361 images and compared with the NLEM. Different image quality assessments based on the error-sensitivity or the human visual system are applied to evaluate the performance. The results confirmed the potential of the VNLEM algorithm.

연구 동기 및 목표

• 비국소 필터링이 노이즈가 있는 패치 공간에서 작동하는 이유에 대한 이론적 설명이 부족한 점을 해결하기 위해.
• SO(2)를 섬유로 하고, 회전 불변 패치를 나타내는 기저 다양체를 갖는 편미분기하학을 통해 패치 공간의 회전 군 구조를 모델링하기 위해.
• 비틀림 불변성과 방향 특징을 통합함으로써 NLEM을 개선한 강인하고 기하학적 인식이 가능한 노이즈 제거 알고리즘을 개발하기 위해.
• SNR와 같은 오차 기반 및 FSIM과 같은 인간 인지 기반 평가 지표를 포함한 다양한 영상 품질 지표를 사용해 VNLEM의 성능을 평가하기 위해.
• 대규모 영상 데이터베이스에서 알고리즘의 우수성을 입증하고, 색상 영상, 다중 영상 노이즈 제거, 텍스처 분석으로의 일반화 잠재력에 대해 논의하기 위해.

제안 방법

• 각 섬유가 SO(2) 회전 군에 대응하고 기저 다양체가 회전 불변 패치를 나타내는 편미분기하학적 패치 공간을 모델링한다.
• 비틀림 불변성을 고려한 리만 내적 거리(RID)를 편미분기하학에 정의하여 패치 간 유사도를 측정한다.
• VNLEM 알고리즘에 SIFT에서 유도된 방향 특징을 통합하여 이웃 선택의 수치적 안정성과 강인성을 향상시킨다.
• NLEM의 평균을 RID로 정의된 이웃 영역 내 패치에 대한 벡터 중앙값 연산으로 대체함으로써 이상치에 대한 내성을 확보한다.
• RID 기반 가중 평균화 기법을 사용해 노이즈 제거된 픽셀 값을 계산함으로써 경계와 미세 구조를 유지한다.
• 1,361장의 영상 데이터베이스에 알고리즘을 적용하고 SNR, PSNR, FSIM 지표를 사용해 성능를 비교한다.

실험 결과

연구 질문

• RQ1 NLM 및 NLEM과 같은 비국소 필터링 방법이 노이즈가 있는 패치 공간에서 효과적으로 작동하는 이유는 무엇이며, 이를 가능하게 하는 기하학적 구조는 무엇인가?
• RQ2 영상 패치의 비틀림 불변성을 수학적으로 모델링하여 노이즈 제거 성능을 향상시킬 수 있는가?
• RQ3 SIFT에서 유도된 방향 특징의 통합이 비국소 노이즈 제거 알고리즘의 강인성과 수치 효율성에 기여할 수 있는가?
• RQ4 다양한 영상 품질 평가 지표 기반으로 VNLEM과 NLEM 간의 노이즈 제거 품질은 어떻게 비교되는가?
• RQ5 기존의 다양체 기반 모델이 패치 공간에서 가지는 한계는 무엇이며, 편미분기하학적 구조는 이를 어떻게 일반화할 수 있는가?

주요 결과

• SNR 및 FSIM 등 오차 기반 및 인지 기반 평가 지표를 통해 VNLEM이 NLEM에 비해 영상 노이즈 제거 품질에서 뚜렷이 뛰어나며, 경계와 미세 텍스처를 효과적으로 유지함을 확인했다.
• SIFT에서 유도된 방향 특징의 사용은 VNLEM의 이웃 선택 과정에서 수치적 안정성과 강인성을 향상시켜 패치 유사도 계산에서 노이즈에 대한 민감도를 감소시켰다.
• SO(2) 섬유를 갖는 편미분기하학적 모델은 비틀림 불변성을 기하학적으로 타당하게 포착하는 방법을 제공하며, 패치 공간에서 비국소 방법의 성공을 설명한다.
• FSIM 평가 결과, VNLEM은 알고리즘에 FSIM 특징을 명시적으로 통합하지 않았음에도 불구하고 NLEM보다 인간 시각 인지에 더 가까운 결과를 생성함을 보였다.
• 1,361장의 영상에 대한 통계 분석을 통해 VNLEM이 NLEM에 비해 유의미하고 일관된 성능 향상을 보임을 확인했다.
• 제안된 방법은 색상 영상 및 다중 영상 노이즈 제거로의 확장 잠재력이 높으며, 회색조 영상 외적 응용에 대한 광범위한 적용 가능성을 시사한다.