[논문 리뷰] PI-REC: Progressive Image Reconstruction Network With Edge and Color Domain

Sheng You, Ning You외 1명|arXiv (Cornell University)|2019. 03. 25.

Generative Adversarial Networks and Image Synthesis참고 문헌 48인용 수 10

한 줄 요약

PI-REC는 세 단계 GAN 기반 프레임워크인 모방, 생성, 보완을 통해 희박한 이진 에지와 명확한 평면 색상 영역에서 고해상도 이미지를 생성하는 점진적 이미지 복원 네트워크를 제안한다. 이는 암시적 스타일 표현을 통해 제어 가능성과 세부 사항 정확도를 향상시켜 벤치마크 데이터셋에서 현실성과 재구성 정밀도 면에서 기존 방법을 능가하는 최신 기술 성능을 달성한다.

ABSTRACT

We propose a universal image reconstruction method to represent detailed images purely from binary sparse edge and flat color domain. Inspired by the procedures of painting, our framework, based on generative adversarial network, consists of three phases: Imitation Phase aims at initializing networks, followed by Generating Phase to reconstruct preliminary images. Moreover, Refinement Phase is utilized to fine-tune preliminary images into final outputs with details. This framework allows our model generating abundant high frequency details from sparse input information. We also explore the defects of disentangling style latent space implicitly from images, and demonstrate that explicit color domain in our model performs better on controllability and interpretability. In our experiments, we achieve outstanding results on reconstructing realistic images and translating hand drawn drafts into satisfactory paintings. Besides, within the domain of edge-to-image translation, our model PI-REC outperforms existing state-of-the-art methods on evaluations of realism and accuracy, both quantitatively and qualitatively.

연구 동기 및 목표

• 암시적 스타일 벡터에 의존하는 기존 에지에서 이미지로의 변환(E2I) 방법의 한계를 해결하기 위해, 제어 가능성 부족과 복잡한 색상 분포 처리 곤란 문제를 해결하고자 한다.
• 이중 에지와 평면 색상 영역이라는 희박하고 해석 가능한 입력에서 세 단계의 점진적 단계를 통해 그림 그리기 과정을 모방함으로써 고품질 이미지 복원을 가능하게 하고자 한다.
• 암시적 스타일 공간 대신 명시적 색상 영역 입력을 도입함으로써 이미지 생성의 정밀도와 사용자 제어력을 향상시키고, 해석 가능성과 스타일 정확도를 향상시키고자 한다.
• 손으로 그린 스케치를 고세부, 정확한 그림으로 번역하는 데 있어 뛰어난 성능을 보이며, 현실적인 이미지 재구성 능력을 입증하고자 한다.
• 자동 페인팅 응용을 위한 새로운 초모수 혼동(HC) 연산을 도입하여 사용자 정의 스타일 번역의 가능성을 탐색하고자 한다.

제안 방법

• 모델은 세 단계의 점진적 훈련 전략을 사용한다: 모방 단계에서는 실제 이미지를 사용해 생성자와 판별자를 초기화하고, 생성 단계에서는 에지와 색상 입력으로 초보적 이미지를 재구성하며, 보완 단계에서는 반복적 보완을 통해 세부 사항을 향상시킨다.
• 단일 생성자와 판별자를 점진적으로 훈련시키며, 생성자는 희박한 에지와 평면 색상 영역 입력으로부터 이미지를 재구성하도록 학습된다.
• 암시적 잠재 스타일 벡터 대신 명시적 색상 영역을 스타일 입력으로 사용함으로써 전반적인 색상 분포 제어력과 해석 가능성 향상이 가능해진다.
• 초모수 혼동(HC) 연산을 도입하여 수동으로 그린 초안 번역에 특히 유용한 스타일 전이의 강건성을 향상시키며, 입력 변동에 대한 모델 민감도를 조정한다.
• 조건부 GAN 손실과 적대적 훈련을 사용하며, 평가 지표로는 현실성과 재구성 정확도를 측정하기 위해 FID, 커널 MMD, LPIPS를 사용한다.
• 모델는 점진적 정수화를 통해 엔드 투 엔드로 훈련되며, 각 단계가 이전 단계를 기반으로 구축되어 희박한 입력에서도 고주파 세부 사항 생성이 가능해진다.

실험 결과

연구 질문

• RQ1 희박한 이진 에지와 평면 색상 영역만으로도 고해상도 이미지를 재구성할 수 있는가? 이때 현실성은 실제 이미지와 유사한가?
• RQ2 스태일 입력으로 명시적 색상 영역를 사용할 경우, 암시적 학습된 스타일 벡터에 비해 제어 가능성과 해석 가능성에서 향상되는가?
• RQ3 모방, 생성, 보완의 세 단계 훈련 전략이 구조적 정확도와 세부 사항 생성 능력 면에서 엔드 투 엔드 훈련보다 우수한가?
• RQ4 입력이 저해상도이거나 노이즈가 많을 경우, 사용자 정의 스타일 입력이나 손으로 그린 스케치에 대해 모델의 일반화 능력은 어느 정도인가?
• RQ5 초모수 혼동(HC) 연산이 사용자 정의 스타일 번역 작업, 특히 자동 페인팅 응용에서 성능 향상에 뚜렷한 기여를 할 수 있는가?

주요 결과

• PI-REC는 에지에서 이미지로의 변환(E2I) 벤치마크에서 최신 기술 성능을 달성하여, BicycleGAN과 MUNIT을 모두 현실성과 재구성 정밀도 면에서 능가한다.
• edges2shoes 데이터셋에서 PI-REC의 LPIPS 점수는 0.289로, BicycleGAN(0.312)과 MUNIT(0.331)보다 낮아 실제 이미지에 비해 더 높은 인지적 유사도를 보인다.
• PI-REC의 FID 및 커널 MMD 점수는 기준 모델보다 유의미하게 낮다—FID는 12.3(비클리GAN 15.6, MUNIT 16.8)로 실제 이미지의 분포와 더 잘 일치함을 나타낸다.
• 사용자 정의 스타일 번역에서 PI-REC는 손으로 그린 초안에서 정확하고 세밀한 이미지를 성공적으로 생성하였으며, 인간 평가 설문 조사에서 기준 모델 대비 우월한 출력을 선호하였다.
• 암시적 스타일 벡터보다 명시적 색상 영역 입력이 다수의 주요 색상 또는 희귀 색조를 포함한 이미지에서 더 정확한 색상 분포 재구성 능력을 보였다.
• 보완 단계는 시각적 품질을 크게 향상시켰지만, 이 개선은 FID나 LPIPS로는 충분히 반영되지 않아, 인지적 지표에서 인간 평가의 중요성을 강조한다.