[논문 리뷰] Shift-Net: Image Inpainting via Deep Feature Rearrangement

Zhaoyi Yan, Xiaoming Li외 3명|arXiv (Cornell University)|2018. 01. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 43인용 수 46

한 줄 요약

Shift-Net은 U-Net에 시프트 연결 레이어를 추가하여 심층 인코더 특징을 재배치하고 인페인팅을 수행하며, 선명한 질감과 그럴듯한 구조를 만들어냅니다. 이는 가이드, 재구성, 및 적대적 손실을 통해 엔드-투-엔드로 학습됩니다.

ABSTRACT

Deep convolutional networks (CNNs) have exhibited their potential in image inpainting for producing plausible results. However, in most existing methods, e.g., context encoder, the missing parts are predicted by propagating the surrounding convolutional features through a fully connected layer, which intends to produce semantically plausible but blurry result. In this paper, we introduce a special shift-connection layer to the U-Net architecture, namely Shift-Net, for filling in missing regions of any shape with sharp structures and fine-detailed textures. To this end, the encoder feature of the known region is shifted to serve as an estimation of the missing parts. A guidance loss is introduced on decoder feature to minimize the distance between the decoder feature after fully connected layer and the ground-truth encoder feature of the missing parts. With such constraint, the decoder feature in missing region can be used to guide the shift of encoder feature in known region. An end-to-end learning algorithm is further developed to train the Shift-Net. Experiments on the Paris StreetView and Places datasets demonstrate the efficiency and effectiveness of our Shift-Net in producing sharper, fine-detailed, and visually plausible results. The codes and pre-trained models are available at https://github.com/Zhaoyi-Yan/Shift-Net.

연구 동기 및 목표

• 글로벌 구조와 미세 질감을 보존하기 위한 인페인팅 개선의 동기화.
• 알려진 영역에서 누락 영역으로 정보를 전달하기 위한 시프트 연결 레이어 제안.
• Missing 영역에서 디코더와 인코더 특징을 정렬하기 위한 가이드 손실 활용.
• 예시 기반 인페인팅과 CNN 기반 인페인팅의 장점을 결합한 엔드-투-엔드 모델 학습.
• Paris StreetView 및 Places 데이터셋에서의 효율성과 효과성 시연.

제안 방법

• 인코더와 디코더 특징 간에 깊은 특징 재배치를 수행하도록 U-Net에 시프트 연결 레이어 추가.
• 디코더의 누락 영역 특징을 시프트된 인코더 특징(Phi_L-l^{shift}(I))으로 업데이트하는 최근접 이웃 기반 시프트 연산 정의.
• 가이드 손실 L_g를 도입하여 누락 영역의 디코더 특징이 실제 인코더 특징과 일치하도록 제약.
• L1 재구성 손실, L_g, 그리고 적대적 손실을 결합하여 엔드-투-엔드 학습.
• 손실의 균형을 맞추기 위해 제시된 트레이드오프 lambda_g와 lambda_adv를 사용한 Adam으로 학습.

실험 결과

연구 질문

• RQ1 시프트 기반 특징 재배치가 순수 CNN 기반 방법보다 누락 영역 복원에 대해 개선을 이끌 수 있는가?
• RQ2 가이드 손실이 누락 영역에 대한 인코더와 디코더 특징의 정합성을 향상시키는가?
• RQ3 Shift-Net이 질감 디테일과 리얼리즘 측면에서 최신 예시 기반 및 CNN 기반 인페인팅 방법과 비교하여 어떤 차이가 있는가?
• RQ4 네트워크 내 시프트 계층 배치와 인페인팅 성능 간의 트레이드오프는 무엇인가?
• RQ5 대규모 데이터셋과 실제 이미지에서의 실용적 사용 가능성이 충분한가?

주요 결과

• Shift-Net은 파리 StreetView 및 Places 데이터셋에서 기존 방법보다 더 선명하고 미세한 질감을 달성합니다.
• Paris StreetView에서 Shift-Net은 PSNR 26.51, SSIM 0.90, 평균 L2 손실 0.0208를 달성하며 Content-Aware Fill, Context Encoder, MNPS를 능가합니다.
• Shift-Net은 MNPS보다 훨씬 빠르며 256×256 이미지를 약 80 ms에 처리하지만 ~40초와 비교됩니다.
• 변성(ablations)은 가이드 손실과 시프트 연결 계층이 결과 개선과 아티팩트 감소에 모두 기여함을 보입니다.
• 이 방법은 실제 이미지 및 임의 영역 인페인팅(객체 제거 포함)에 일반화됩니다.
• 최근접 이웃 기반 시프트 연산은 무작위 시프트 연결에 비해 성능 향상에 필수적입니다.