[논문 리뷰] The Navier-Stokes-Voight Model for Image Inpainting

Mehran Ebrahimi, Michael Holst외 1명|ArXiv.org|2009. 01. 28.

Generative Adversarial Networks and Image Synthesis참고 문헌 20인용 수 8

한 줄 요약

이 논문은 이미지 복원에 표준 라우지-뉴턴 방정식(NSE) 대신 2차원 라우지-뉴턴-보이지크(NSV) 모델을 더 효율적인 대안으로 사용할 것을 제안한다. NSV 모델의 정규화 성질을 활용하여, NSE 기반 복원과 유사한 이미지 품질을 달성하면서도 훨씬 더 큰 안정적인 시간 간격을 허용함으로써 계산 비용을 줄이고 정확성과 안정성을 유지한다.

ABSTRACT

In 2001, Bertalmio et. al. drew an analogy between the image intensity function for the image inpainting problem and the stream function in a two-dimensional (2D) incompressible fluid. An approximate solution to the inpainting problem is obtained by numerically approximating the steady state solution of the 2D NSE vorticity transport equation, and simultaneously solving the Poisson problem between the vorticity and stream function, in the region to be inpainted. This elegant approach allows one to produce an approximate solution to the image inpainting problem by using techniques from computational fluid dynamics. Recently, the three-dimensional (3D) Navier-Stokes-Voight (NSV) model of viscoelastic fluid, was suggested by Cao et. al. as an inviscid regularization to the 3D Navier-Stokes equations (NSE). The NSV model is shown to be globally well-posed and has a finite-dimensional global attractor, making it an attractive sub-grid scale turbulence model for purposes of numerical simulation. In this paper we investigate the use of the 2D NSV model for use in algorithms for the inpainting problem. We also present some new theoretical results based on energy methods comparing the sufficient conditions for stability of the discretization scheme for the two model equations.

연구 동기 및 목표

• 이미지 복원을 위한 미세구조 난류 모델로 라우지-뉴턴-보이지크(NSV) 모델을 탐색하기.
• 수치적 이미지 복원에서 NSV와 라우지-뉴턴 방정식(NSE) 간의 효율성과 안정성 비교하기.
• 주관적 인간 평가와 객관적 PSNR 지표를 사용하여 NSV의 성능 평가하기.
• NSV와 NSE에 대한 반의존 시간 이산화 방법의 안정성 분석하기.
• 양자모델의 정적 해가 유일하고 안정적인 조건에 대한 이론적 조건 조사하기.

제안 방법

• 원래 점탄성 유체에 대해 개발된 2차원 라우지-뉴턴-보이지크(NSV) 모델을 이미지 강도를 유체의 유량 함수에 해당하게 하여 이미지 복원에 적응시키기.
• 반의존 시간 이산화 방법을 사용하여 NSV 방정식을 풀어 표준 NSE보다 더 큰 시간 간격을 허용하기.
• 베르탈미오 등이 제안한 원래의 CFD 기반 접근 방식과 마찬가지로, 복원 영역 내에서 코어티시티와 유량 함수를 연결하는 포아송 방정식을 동시에 풀기.
• 에너지 기반 추정을 사용하여 수치적 방법의 안정성을 분석하기 위해 안정화된 유한요소 방법을 구현하기.
• 정규화를 통해 유도된 복원 방정식을 풀어 손상된 영역을 가로질러 등고선을 전파함으로써 NSV 모델을 적용하기.
• NSV 모델의 정규화 파라미터 α를 사용하여 스무딩 정도와 안정성을 제어하며, α > 0이면 수치적 강건성이 향상됨.

실험 결과

연구 질문

• RQ1 2차원 라우지-뉴턴-보이지크(NSV) 모델은 표준 라우지-뉴턴 방정식(NSE)과 유사한 이미지 복원 품질을 달성하면서도 더 큰 시간 간격을 허용할 수 있는가?
• RQ2 이미지 복원 맥락에서 NSV 및 NSE 모델에 반의존 시간 이산화 방법을 적용할 때 이론적 안정성 조건은 무엇인가?
• RQ3 NSV 모델의 정규화 파라미터 α는 복원 과정의 수렴 속도와 수치적 안정성에 어떤 영향을 미치는가?
• RQ4 정적 해의 유일성과 점성, 경계 이미지 데이터, 복원 영역 크기 간의 관계는 무엇인가?
• RQ5 PSNR 및 인간 평가 결과에서 NSV 기반과 NSE 기반 복원 방법 간의 성능 비교는 어떻게 되는가?

주요 결과

• NSV 모델은 NSE 모델보다 훨씬 더 큰 안정적인 시간 간격을 허용하여 정적 상태에 도달하기 위한 반복 횟수를 줄이고 계산 효율성을 향상시킨다.
• 수치 실험 결과, NSV 기반 복원은 PSNR 값과 인간 평가 모두에서 NSE 기반 복원과 유사한 품질의 이미지를 생성함을 확인하였다.
• 이론적 분석을 통해 NSV 방법은 NSE 방법보다 더 엄격한 시간 간격 제약 조건 없이 안정성을 유지하며, 안정성 조건이 정규화 파라미터 α에 의존함을 확인하였다.
• 에너지 기반 안정성 분석을 통해 NSV 방법은 적절한 파라미터 선택 하에 이산 에너지에 대한 균일한 경계를 만족함을 입증하여 장기적 안정성을 보장함을 보였다.
• NSV 모델의 정적 해의 유일성은 점성, 경계 데이터, 복원 영역 크기와 관련된 조건 하에서 확립되었으며, NSE보다 더 강력한 유일성 보장을 제공함을 확인하였다.
• 계산 비용을 고려할 때, NSV 모델은 NSE와 동일한 품질의 솔루션을 제공하지만 상당히 감소된 자원 사용량을 기록한다.