[논문 리뷰] Learning to Incorporate Structure Knowledge for Image Inpainting

Jie Yang, Zhiquan Qi외 1명|arXiv (Cornell University)|2020. 02. 11.

Generative Adversarial Networks and Image Synthesis참고 문헌 34인용 수 4

한 줄 요약

이 논문은 손상된 이미지와 그 구조적 요소(윤곽선 및 기울기)를 동시에 재구성하는 생성자(generator)를 공동으로 훈련시키는 다중 작업 학습 프레임워크를 제안한다. 이는 학습된 구조적 특징을 명시적으로 통합하고, 결과를 개선하기 위해 주의 메커니즘(attention mechanism)을 사용한다. 이 방법은 CelebA 및 Places2 데이터셋에서 최신 기술(SOTA) 성능을 달성하며, 각각 FID 점수 1.227과 4.883을 기록하여 구조 지식을 효과적으로 활용함으로써 열등한 정량적·정성적 결과를 보여준다.

ABSTRACT

This paper develops a multi-task learning framework that attempts to incorporate the image structure knowledge to assist image inpainting, which is not well explored in previous works. The primary idea is to train a shared generator to simultaneously complete the corrupted image and corresponding structures --- edge and gradient, thus implicitly encouraging the generator to exploit relevant structure knowledge while inpainting. In the meantime, we also introduce a structure embedding scheme to explicitly embed the learned structure features into the inpainting process, thus to provide possible preconditions for image completion. Specifically, a novel pyramid structure loss is proposed to supervise structure learning and embedding. Moreover, an attention mechanism is developed to further exploit the recurrent structures and patterns in the image to refine the generated structures and contents. Through multi-task learning, structure embedding besides with attention, our framework takes advantage of the structure knowledge and outperforms several state-of-the-art methods on benchmark datasets quantitatively and qualitatively.

연구 동기 및 목표

• 기존의 딥러닝 기반 이미지 복원 방법이 윤곽선 및 기울기와 같은 고수준의 구조 지식을 효과적으로 통합하지 못하는 한계를 해결하기 위해.
• 이미지 재구성과 구조 예측에 대해 공유된 생성자를 공동으로 훈련시켜 암묵적인 구조 지식 활용을 가능하게 하여 이미지 복원 품질을 향상시키기 위해.
• 학습된 구조적 특징을 복원 과정에 명시적인 전제 조건으로 통합하여 콘텐츠 생성을 안내하기 위해.
• 새로운 주의 메커니즘을 활용해 반복적인 구조적 패턴을 식별하고 개선하여 생성된 구조와 콘텐츠의 일관성과 현실감을 향상시키기 위해.
• 다중 척도에서의 구조 학습과 임베딩을 효과적으로 감독하기 위해 새로운 피라미드 구조 손실을 개발하기 위해.

제안 방법

• 손상된 입력에서 완성된 이미지와 해당 윤곽선 및 기울기 맵을 동시에 예측하는 공유 생성자를 다중 작업 설정에서 훈련한다.
• 다양한 척도에서의 구조 학습을 지원하기 위해 새로운 피라미드 구조 손실을 도입하여 구조 일관성과 세부 사항을 향상시킨다.
• 생성기의 디코더 경로에 학습된 구조적 특징를 연결하거나 삽입하여 구조 임베딩을 구현함으로써 명시적 사전 지식를 제공한다.
• 주목적 메커니즘을 적용하여 이미지 내 반복적인 구조적 패턴을 식별하고 개선함으로써 생성된 콘텐츠의 일관성과 현실감을 향상시킨다.
• 다중 작업 학습, 명시적 구조 임베딩, 주의 메커니즘을 통합하여 구조 정확성과 시각적 타당성을 동시에 최적화한다.
• 생성적 적대적 손실과 인지적 손실을 함께 사용하여 엔드 투 엔드로 모델을 훈련시켜 고품질이고 현실적인 출력을 보장한다.

실험 결과

연구 질문

• RQ1 이미지 재구성과 구조 예측에 대한 공동 훈련이 이미지 복원 결과의 품질과 타당성 향상에 기여하는가?
• RQ2 명시적 구조 임베딩이 생성된 이미지 콘텐츠의 성능과 현실감에 어떤 영향을 미치는가?
• RQ3 반복 패턴을 활용하는 주의 메커니즘이 얼마나 구조 일관성과 시각적 품질을 향상시키는가?
• RQ4 제안된 피라미드 구조 손실은 기존의 L1 또는 L2 손실에 비해 더 나은 구조 감독을 제공하는가?
• RQ5 구조를 먼저 생성한 다음 이미지를 생성하는 두 단계 방법과 비교했을 때, 제안된 프레임워크는 일반화 및 내성성 측면에서 어떤가?

주요 결과

• 불규칙한 마스크를 사용한 CelebA 데이터셋에서 제안된 방법은 FID 점수 1.227을 기록하여, 다음으로 우수한 베이스라인(EG)의 2.443보다 뚜렷이 뛰어나다.
• 불규칙한 마스크를 사용한 Places2 데이터셋에서 제안된 방법은 FID 4.883을 기록하였으며, EG 기준 13.74보다 훨씬 향상된 이미지 품질을 보여준다.
• 제거 실험 결과, 다중 작업 학습, 구조 임베딩, 주의 메커니즘을 추가할수록 FID 점수가 기준 15.25에서 11.98로 점차 향상되며, VIF 및 PSNR 값 역시 개선됨을 확인하였다.
• 정성적 결과는 특히 큰 손실 영역이 있는 곳에서 더 선명한 얼굴 윤곽선과 더 현실적인 질감을 보여준다.
• 피라미드 구조 손실은 다중 척도의 구조적 세부 정보를 효과적으로 포착하여 더 정확하고 일관된 윤곽선 및 기울기 예측에 기여한다.
• 모델는 불규칙한 마스크에 대해 잘 일반화되어 있으며, 이러한 마스크에 특별히 훈련되지 않은 CA 및 GL과 같은 방법들보다 뛰어난 성능을 보였다.