[논문 리뷰] Semantically Consistent Image Completion with Fine-grained Details

Pengpeng Liu, Xiaojuan Qi외 4명|arXiv (Cornell University)|2017. 11. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 27인용 수 11

한 줄 요약

이 논문은 세분화된 세부 사항을 갖춘 의미적으로 일관된 이미지 보완을 위해 다중 수준 감독—재구성, 인지적, 적대적 손실—을 갖춘 경량 전연결 신경망 생성자(Generator)를 제안한다. 유사도 강화된 특징 공간에서의 인지적 가이던스와 적대적 훈련을 결합함으로써, 1000만 개 미만의 파rameter를 사용하여 CelebA 및 Paris StreetView에서 최신 기술(SOTA) 수준의 성능을 달성하였으며, 세부 사항의 정확성과 경계 일관성 면에서 이전 방법들을 크게 능가한다.

ABSTRACT

Image completion has achieved significant progress due to advances in generative adversarial networks (GANs). Albeit natural-looking, the synthesized contents still lack details, especially for scenes with complex structures or images with large holes. This is because there exists a gap between low-level reconstruction loss and high-level adversarial loss. To address this issue, we introduce a perceptual network to provide mid-level guidance, which measures the semantical similarity between the synthesized and original contents in a similarity-enhanced space. We conduct a detailed analysis on the effects of different losses and different levels of perceptual features in image completion, showing that there exist complementarity between adversarial training and perceptual features. By combining them together, our model can achieve nearly seamless fusion results in an end-to-end manner. Moreover, we design an effective lightweight generator architecture, which can achieve effective image inpainting with far less parameters. Evaluated on CelebA Face and Paris StreetView dataset, our proposed method significantly outperforms existing methods.

연구 동기 및 목표

• 이미지 보완에서 저수준 픽셀 재구성과 고수준 적대적 손실 사이의 격차를 해결함으로써 세분화된 세부 사항 합성의 한계를 극복한다.
• 사전 훈련된 CNN를 사용한 중수준 인지적 감독을 도입하여 의미 일관성과 세부 사항 생성을 향상시킨다.
• 최소한의 파rameter(<10M)로 높은 성능을 달성하는 경량 전연결 신경망 생성자 아키텍처를 설계한다.
• 적대적 훈련과 인지적 특징 간의 상호보완성을 입증함으로써 자연스럽고 세밀하며 의미적으로 일관된 이미지 보완을 생성한다.
• 이미지 정렬이나 후처리 없이도 임의의 마스크 위치와 크기에서 견고한 이미지 보완을 가능하게 한다.

제안 방법

• 다중 손실 훈련 전략을 활용하여 픽셀 수준 재구성 손실($L_r$), 적대적 손실($L_a$), 인지적 손실($L_p$)을 결합함으로써 다중 수준 감독을 구현한다.
• 사전 훈련된 인지 네트워크는 의미적으로 유사하지만 외관이 다른 콘텐츠를 유사도 공간에서 더 가깝게 만들며, 중수준 의미적 가이던스를 가능하게 한다.
• 인지적 손실은 인지 네트워크의 여러 층에서 원본 이미지와 보완된 이미지의 특징 맵 간의 $L_2$ 거리로 계산된다.
• 장거리 컨텍스트를 효율적으로 포착하고 파rameter 수를 줄이며 고해상도 출력을 생성하는 새로운 경량 전연결 신경망 생성자(FCN 기반)를 설계한다.
• 판별자는 전반적인 자연스러움과 경계 연속성을 강화하고, 생성자는 모든 세 가지 손실을 종합적으로 사용해 엔드 투 엔드로 훈련된다.
• 프레임워크는 엔드 투 엔드로 훈련되며 추론 시에는 생성자만 필요하므로 실시간 적용이 가능하다.

실험 결과

연구 질문

• RQ1 재구성, 적대적, 인지적 손실이 이미지 보완에서 어떻게 상호작용하며, 각각 세부 사항과 일관성에 기여하는 비중은 어떠한가?
• RQ2 유사도 강화된 특징 공간에서의 인지적 감독은 잡음 없이 세분화된 세부 사항 합성을 향상시킬 수 있는가?
• RQ3 적대적 훈련과 인지적 특징이 의미적으로 일관되고 현실적인 이미지 보완을 생성하는 데 얼마나 잘 상호보완되는가?
• RQ4 경량 전연결 신경망 생성자가 훨씬 적은 파rameter를 사용하면서도 대규모 모델과 유사한 성능을 달성할 수 있는가?
• RQ5 특히 얼굴이나 도시 거리와 같은 복잡한 환경에서, 임의의 마스크 위치와 크기 설정에 대해 이 방법은 얼마나 견고한가?

주요 결과

• 적대적 손실과 인지적 손실의 조합은 세분화된 세부 사항과 경계 연속성을 갖춘 결과를 생성하며, 단독으로 $L_r$, $L_a$, 또는 $L_p$를 사용한 모델보다 우수한 성능을 보인다.
• Paris StreetView 데이터셋에서 제안된 방법은 $L_r + L_a + L_p$ 조합으로 PSNR 21.5338 dB를 달성하였으며, Context Encoder(20.4878 dB)를 능가했고, 임의의 마스크 설정에서도 성능 저하가 최소한이었다.
• 이 방법은 마스크 위치와 크기가 임의일 경우에도 CelebA 및 Paris StreetView에서 강력한 성능을 유지한다. 반면 Context Encoder와 같은 모델은 고정된 마스크가 필요하다.
• 1000만 개 미만의 파rameter를 사용하는 경량 생성자도 최신 기술(SOTA) 성능을 달성하였으며, 높은 성능이 반드시 대규모 모델을 필요로 하진 않음을 입증한다.
• 정성적 결과는 사람, 간판, 수염 등의 객체를 성공적으로 제거하면서도 의미 일관성을 유지하고 자연스럽고 새로운 콘텐츠를 생성함을 보여준다.
• 학습 데이터에 관련 예제가 부족한 경우(예: 프로파일 얼굴, 대칭 구조) 실패 사례가 발생하며, 이는 훈련 분포 외로의 일반화 능력에 한계가 있음을 시사한다.