[논문 리뷰] SRGAN: Training Dataset Matters

Nao Takano, Gita Alaghband|arXiv (Cornell University)|2019. 03. 24.

Advanced Image Processing Techniques참고 문헌 21인용 수 15

한 줄 요약

이 논문은 초해상도 작업에서 훈련 데이터셋 선택이 SRGAN 성능에 미치는 영향을 핵심적으로 조사한다. 다양한 데이터셋으로 훈련시킬 경우, 모델은 단지 가장자리 강조를 넘어서 정확한 형태, 색상, 질감을 재구성하는 데 학습하게 되며, 도메인 관련 데이터로 훈련했을 때는 개선된 FID 점수를 통해 뛰어난 성능을 달성한다.

ABSTRACT

Generative Adversarial Networks (GANs) in supervised settings can generate photo-realistic corresponding output from low-definition input (SRGAN). Using the architecture presented in the SRGAN original paper [2], we explore how selecting a dataset affects the outcome by using three different datasets to see that SRGAN fundamentally learns objects, with their shape, color, and texture, and redraws them in the output rather than merely attempting to sharpen edges. This is further underscored with our demonstration that once the network learns the images of the dataset, it can generate a photo-like image with even a slight hint of what it might look like for the original from a very blurry edged sketch. Given a set of inference images, the network trained with the same dataset results in a better outcome over the one trained with arbitrary set of images, and we report its significance numerically with Frechet Inception Distance score [22].

연구 동기 및 목표

• 훈련 데이터셋 구성이 SRGAN의 사진처럼 생긴 이미지 생성 능력에 미치는 영향을 조사하기 위해.
• SRGAN이 훈련 데이터에서 구조적이고 의미적인 내용을 학습하는지, 아니면 단지 이미지 선명도를 향상시키기만 하는지 판단하기 위해.
• FID와 같은 정량적 지표를 사용하여 데이터셋 관련성의 재구성 품질에 미치는 영향을 평가하기 위해.
• SRGAN이 관련 데이터셋에서 학습한 후 매우 흐린 스케치로부터도 현실적인 출력을 생성할 수 있음을 보여주기 위해.

제안 방법

• 일반화 및 재구성 품질를 비교하기 위해 세 가지 다른 데이터셋으로 SRGAN을 훈련시켰다.
• 모델 행동의 일관성을 확보하기 위해 원래의 SRGAN 아키텍처를 사용했다.
• 이미지 생성 품질을 평가하기 위한 표준 지표인 Frechet Inception Distance (FID)를 사용했다.
• 흐린 스케치에 대한 추론을 수행하여 모델이 현실적인 사진처럼 생긴 출력을 생성할 수 있는지 테스트했다.
• 도메인 특화 데이터셋으로 훈련한 모델과 임의의 이미지 컬렉션으로 훈련한 모델의 결과를 비교했다.
• 모델이 객체 의미를 학습하는지 아니면 단지 가장자리 강화만을 하는지 평가하기 위해 정성적 및 정량적 출력을 분석했다.

실험 결과

연구 질문

• RQ1 훈련 데이터셋 선택이 SRGAN가 생성하는 이미지의 현실성과 정밀도에 어떻게 영향을 미치는가?
• RQ2 SRGAN은 객체의 형태, 색상, 질감을 재구성하는지, 아니면 주로 가장자리 강화만을 하는가?
• RQ3 도메인 관련 데이터셋으로 훈련한 후에, 매우 흐린 스케치와 같은 최소한의 입력 신호로부터도 SRGAN이 사진처럼 생긴 출력을 생성할 수 있는가?
• RQ4 무작위 이미지 컬렉션 대비 도메인 특화 데이터로 SRGAN을 훈련할 경우 이미지 품질에 측정 가능한 향상이 있는가?
• RQ5 데이터셋 관련성은 초해상도 작업에서 낮은 FID 점수와 어느 정도 상관관계가 있는가?

주요 결과

• 도메인 관련 데이터셋으로 훈련한 모델는 임의의 이미지 컬렉션으로 훈련한 모델보다 훨씬 더 현실적이고 세밀한 이미지를 생성했다.
• 흐린 스케치에서의 생성 결과를 통해, SRGAN이 단지 가장자리 강화를 넘어서 객체의 형태, 색상, 질감을 재구성하는 것을 학습했다는 것이 입증되었다.
• 관련 훈련 데이터셋을 사용할 경우 FID 점수가 크게 향상되어 이미지 품질에서 정량적 우수성을 입증했다.
• 매우 흐린 스케치와 같은 최소한의 입력 신호가 있더라도, 일관된 데이터셋에서 학습한 후 모델은 신뢰할 수 있고 사진처럼 생긴 출력을 생성할 수 있었다.
• 모델이 미리보지 않은 입력에 일반화할 수 있는 능력은 훈련 데이터의 다양성과 관련성에 크게 의존했다.
• 결과적으로, 데이터셋 선택은 SRGAN로 고품질 초해상도 결과를 달성하는 데 핵심적인 요소임을 확인했다.