[논문 리뷰] Deep Blind Image Inpainting

Yang Liu, Jinshan Pan외 1명|arXiv (Cornell University)|2017. 12. 25.

Advanced Image Processing Techniques참고 문헌 26인용 수 7

한 줄 요약

이 논문은 누락 영역의 위치에 대한 사전 지식 없이 손상된 입력에서 명료한 이미지를 복원하는 딥러닝 기반 블라인드 이미지 인paint링 방법을 제안한다. 잔차 학습과 $L_1$ 기반 강건한 손실 함수를 갖춘 인코더-디코더 아키텍처를 사용하여, 추출된 기울기와 문맥 특징을 활용해 누락된 내용을 예측하며, 벤치마크 데이터셋에서 높은 PSNR 및 SSIM 점수를 기록하여 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Image inpainting is a challenging problem as it needs to fill the information of the corrupted regions. Most of the existing inpainting algorithms assume that the positions of the corrupted regions are known. Different from the existing methods that usually make some assumptions on the corrupted regions, we present an efficient blind image inpainting algorithm to directly restore a clear image from a corrupted input. Our algorithm is motivated by the residual learning algorithm which aims to learn the missing infor- mation in corrupted regions. However, directly using exist- ing residual learning algorithms in image restoration does not well solve this problem as little information is available in the corrupted regions. To solve this problem, we introduce an encoder and decoder architecture to capture more useful information and develop a robust loss function to deal with outliers. Our algorithm can predict the missing information in the corrupted regions, thus facilitating the clear image restoration. Both qualitative and quantitative experimental demonstrate that our algorithm can deal with the corrupted regions of arbitrary shapes and performs favorably against state-of-the-art methods.

연구 동기 및 목표

• 손상된 영역의 위치가 알려지지 않은 상황에서 이미지 인painting 문제를 해결하기 위해.
• 사전에 분할된 마스크에 의존하지 않고 손상된 입력에서 직접 명료한 이미지를 복원하는 엔드 투 엔드 딥러닝 프레임워크를 개발하기 위해.
• 인코더-디코더 아키텍처를 통해 문맥적 및 구조적 특징을 캡처하여 복원 품질을 향상시키기 위해.
• 새로운 손실 함수를 설계하여 손상된 영역 내 외곽치에 대한 강건성을 향상시키기 위해.
• 기존 최신 기술 수준의 방법들과 비교해 임의의 모양을 가진 손상된 영역에서도 뛰어난 성능을 달성하기 위해.

제안 방법

• 이 방법은 손상된 이미지에서 문맥적 특징을 추출하고 재구성하기 위해 인코더-디코더 아키텍처를 갖춘 깊은 합성곱 신경망을 사용한다.
• 잔차 학습을 적용하여 손상된 이미지와 정답 이미지 간의 차이를 학습함으로써 손상된 영역의 누락된 내용을 예측한다.
• 입력에서 사전에 기울기를 추출하여 특징 학습을 안내하고 가장자리 복원을 향상시키는 사전 정보로 활용한다.
• 외곽치의 영향을 최소화하기 위해 $L_1$-노름 기반의 강건한 손실 함수를 사용하여 학습 안정성과 일반화 능력을 향상시킨다.
• 네트워크는 엔드 투 엔드 방식으로 학습되어 손상된 입력에서 직접 완전하고 명료한 이미지를 예측할 수 있다.
• 인코더-디코더 경로에서 스킵 연결과 다중 해상도 특징 학습을 통해 전반적인 문맥과 국소적 세부 정보를 모두 활용한다.

실험 결과

연구 질문

• RQ1 손상된 영역의 위치가 알려지지 않은 상황에서 딥 네트워크가 손상된 입력에서 명료한 이미지를 복원할 수 있는가?
• RQ2 잔차 학습이 적용된 인코더-디코더 아키텍처는 블라인드 이미지 인painting에서 문맥적 및 구조적 정보를 얼마나 효과적으로 캡처하는가?
• RQ3 사전에 추출된 이미지 기울기를 통합하면 복원된 가장자리와 질감의 품질이 향상되는가?
• RQ4 $L_1$ 기반 손실 함수는 외곽치를 다루고 손상된 영역의 세부 정보를 유지하는 데 $L_2$와 비교해 어떻게 성능을 발휘하는가?
• RQ5 제안된 방법은 크고 임의의 모양을 가진 손상된 영역으로 일반화되어 기존 최신 기술 수준의 방법들을 능가하는가?

주요 결과

• 제안된 방법은 Set14 벤치마크에서 PSNR 37.9356과 SSIM 0.9845를 기록하여 베이스라인 모델들을 능가한다.
• 사전에 추출된 기울기의 포함으로 구조적 복원이 향상되어 더 선명한 가장자리와 더 정확한 재구성 결과를 얻었으며, 시각적 비교와 정량적 지표에서 이를 확인할 수 있었다.
• $L_1$ 기반 손실 함수는 $L_2$ 기반 손실에 비해 더 나은 수렴 성능과 더 적은 아티팩트를 보였으며, 학습 및 검증 손실 값이 낮았다.
• 네트워크는 50 에포크 내에 안정적으로 수렴하여 효율적인 학습과 강건한 최적화를 보였다.
• 다양한 데이터셋에서 정성적 및 정량적 평가에서 기존 최신 기술 수준의 알고리즘들과 비교해 유리한 성능을 보였다.
• 얼굴 특징와 같은 중요한 구조적 요소가 심하게 손상된 경우 실패 케이스가 발생하여 고수준의 의미적 구조를 처리하는 데 한계가 있음을 시사한다.