[논문 리뷰] Image Inpainting Based on a Novel Criminisi Algorithm

Yuheng Song, Yan Hao|arXiv (Cornell University)|2018. 08. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 8인용 수 4

한 줄 요약

이 논문은 오차 전파와 비최적의 패치 매칭 문제를 해결하기 위해 이미지 복원을 위한 개선된 Criminisi 알고리즘을 제안한다. 맨하탄 거리 평균을 사용하여 우선도 계산을 재정의하고, 매칭 전략에 유클리드 거리를 통합함으로써 시각적 품질을 향상시키고 잡음 요소를 줄인다. 정량적 및 정성적 평가에서 뛰어난 성능을 보여준다.

ABSTRACT

In view of the problem of image inpainting error continuation and the deviation of finding best match block, an improved Criminisi algorithm is proposed. The improvement was mainly embodied in two aspects. In the repairing order aspect, we redefine the calculation formula of the priority. In order to solve the problem of error continuation caused by local confidence item updating, the mean value of Manhattan distance is used for replace the confidence item. In the matching strategy aspect, finding the best match block not only depend on the difference of the two pixels, but also consider the matching region. Therefore, Euclidean distance is introduced. Experiments confirm that the improved algorithm can overcome the insufficiencies of the original algorithm. The repairing effect has been improved, and the results have a better visual appearance.

연구 동기 및 목표

• 기존 Criminisi 알고리즘의 신뢰도 갱신 메커니즘으로 인한 오차 계속 문제를 해결하기 위해.
• 픽셀 수준의 차이를 넘는 지역적 맥락을 통합하여 패치 매칭 정확도를 향상시키기 위해.
• 수정된 우선도 및 유사도 메트릭을 통해 복원된 이미지의 시각적 품질을 향상시키기 위해.
• 복원 영역에서의 시각적 잡음 요소를 줄이고 구조적 일관성을 향상시키기 위해.
• 비교 실험을 통해 제안된 방법의 유효성을 검증하기 위해.

제안 방법

• 오차 전파를 완화하기 위해 우선도 계산 공식에서 신뢰도 항목을 맨하탄 거리 평균으로 대체한다.
• 공간적 맥락을 고려하고 매칭 정확도를 향상시키기 위해 패치 매칭에 유클리드 거리를 보조적 지표로 도입한다.
• 구조적 일관성이 높고 불확실성이 낮은 영역을 우선적으로 선택하기 위해 패치 선택 과정을 수정한다.
• 강도 차이와 공간적 근접도를 조합한 하이브리드 유사도 측정법을 사용하여 더 나은 패치 매칭을 실현한다.
• 수리 과정을 안정화시키기 위해 이웃 픽셀의 맨하탄 거리 평균을 사용하여 신뢰도 값을 갱신한다.
• 구조적 전파가 일관되게 이루어지도록 최고 우선도 영역에서부터 반복적으로 개선된 알고리즘을 적용한다.

실험 결과

연구 질문

• RQ1 이미지 복원 과정에서 Criminisi 알고리즘의 오차 전파를 어떻게 줄일 수 있는가?
• RQ2 지역적 맥락을 통합할 경우 패치 매칭 품질은 어느 정도 향상되는가?
• RQ3 맨하탄 거리 기반으로 수정된 우선도 공식이 복원 결과에 어떤 영향을 미치는가?
• RQ4 유클리드 거리의 통합은 복원된 이미지의 시각적 품질에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 정량적 및 정성적 지표에서 원래 Criminisi 알고리즘을 초월하는가?

주요 결과

• 우선도 계산에서 신뢰도 항목을 맨하탄 거리 평균으로 대체함으로써 제안된 방법이 오차 전파를 크게 줄였다.
• 매칭 전략에 유클리드 거리를 통합함으로써 더 정확하고 맥락 인식이 가능한 패치 선택이 가능해졌다.
• 시각적 결과에서 원래 Criminisi 알고리즘 대비 더 뛰어난 구조적 일관성과 더 적은 잡음 요소를 보였다.
• 정성적 평가를 통해 복원 영역에서 무늬와 윤곽선을 더 잘 유지하는 것으로 확인되었다.
• 실험 결과, 딥러닝이나 복잡한 최적화 기법 없이도 전체 복원 품질이 향상됨을 입증하였다.
• 수정된 우선도 및 매칭 전략이 원래 Criminisi 접근법의 핵심 한계를 효과적으로 해결함을 확인하였다.