[논문 리뷰] Automated Deep Photo Style Transfer

Sebastian Penhouët, Paul Sanzenbacher|arXiv (Cornell University)|2019. 01. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 1인용 수 15

한 줄 요약

이 논문은 신경 이미지 세분화, 의미 그룹화, 신경 이미지 미학 평가를 통합하여 수동 조작 없이도 사실적으로 구현된 스타일 전이를 가능하게 하는 자동화된 종단 간 딥 포토 스타일 전이 파이프라인을 제안한다. 수동 세분화를 사전 훈련된 PSPNet으로 대체하고 NIMA 기반 이미지 평가를 통해 결과를 향상시킴으로써, 사용자 의존도를 줄이고 고해상도의 사실적인 스타일 전이를 달성한다.

ABSTRACT

Photorealism is a complex concept that cannot easily be formulated mathematically. Deep Photo Style Transfer is an attempt to transfer the style of a reference image to a content image while preserving its photorealism. This is achieved by introducing a constraint that prevents distortions in the content image and by applying the style transfer independently for semantically different parts of the images. In addition, an automated segmentation process is presented that consists of a neural network based segmentation method followed by a semantic grouping step. To further improve the results a measure for image aesthetics is used and elaborated. If the content and the style image are sufficiently similar, the result images look very realistic. With the automation of the image segmentation the pipeline becomes completely independent from any user interaction, which allows for new applications.

연구 동기 및 목표

• 딥 포토 스타일 전이에서 수동 세분화를 제거하기 위해 자동화된 신경망 기반 세분화 파이프라인을 도입하는 것.
• 의미적으로 그룹화된 이미지 영역에 대해 개별적으로 스타일 전이를 적용하여 스타일 전이 품질을 향상시키고 사실적인 이미지를 유지하는 것.
• 학습된 이미지 미학 측정 지표(NIMA)를 추가 손실 구성 요소로 활용하여 전이 결과의 시각적 매력도를 향상시키는 것.
• 스타일 전이 파이프라인의 완전한 자동화를 통해 다양한 이미지 데이터셋에 대해 확장 가능하고 반복 가능한 적용을 가능하게 하는 것.

제안 방법

• 콘텐츠 이미지와 스타일 이미지 양쪽에 대해 사전 훈련된 PSPNet을 사용하여 픽셀 단위의 클래스 예측을 생성하는 의미 세분화 수행.
• 학습된 의미 임계값을 기반으로 유사한 객체 클래스를 융합하는 의미 그룹화 알고리즘 적용으로 과세분화를 감소시키는 것.
• 딥 포토 스타일 전이 손실 함수를 개선하기 위해 각 세그먼트에 대해 적용 가능한 증강된 스타일 손실을 도입하여 국소적 스타일 적응을 가능하게 하는 것.
• 콘텐츠 이미지의 세부 사항을 유지하고 최적화 과정에서 왜곡을 방지하기 위해 사실감 있는 정규화 손실 도입.
• NIMA(Neural Image Assessment) 모델에서 유도된 이미지 평가 손실을 도입하여 인식된 이미지 품질과 미학을 최적화하는 것.
• VGG19 기반 특징 추출기를 사용하여 콘텐츠, 스타일, 사실감, 미학을 모두 포함한 복합 손실을 최소화하기 위해 2000회 반복 최적화 수행.

실험 결과

연구 질문

• RQ1 수동 세분화와 비교해 볼 때, 자동화된 의미 세분화가 딥 포토 스타일 전이의 일관성과 현실감을 향상시키는가?
• RQ2 세분화된 영역의 의미 그룹화가 국소적 스타일 전이의 품질과 통일성에 어떤 영향을 미치는가?
• RQ3 NIMA 기반 이미지 평가 손실이 사실감을 훼손하지 않으면서도 시각적 매력을 향상시키는 데 얼마나 기여하는가?
• RQ4 이러한 자동화된 파이프라인의 성능 및 확장성은 해상도, 실행 시간, 세분화 정확도 측면에서 어떤 제약을 가진다?

주요 결과

• PSPNet를 사용한 자동 세분화 파이프라인은 사용자 의존도를 크게 감소시켜 스타일 전이 과정의 종단 간 완전 자동화를 가능하게 한다.
• 의미 그룹화로 과세분화가 감소하고, 특히 다수의 객체 유형이 존재하는 복잡한 시나리오에서 스타일 전이의 일관성이 향상된다.
• NIMA 기반 이미지 평가 손실의 통합으로 더 매력적인 결과가 도출되었으며, 기준 방법 대비 향상된 미학 점수를 확보하였다.
• 개선된 결과에도 불구하고, 세분화 정확도와 스타일 전이 모델링의 한계로 인해 반사 표면, 밝은 영역, 세밀한 객체 경계 처리에 어려움이 남아 있다.
• 원래의 딥 포토 스타일 전이와 유사한 사실적인 결과를 달성했지만, 고성능 컴퓨팅 비용이 수반되며, GTX 1080 기준으로 이미지당 약 16분이 소요된다.
• 현재 파이프라인은 해상도 제한과 PSPNet의 150개 클래스 한계로 인해 향후 더 표현력 있는 세분화 모델이 필요하다는 점을 시사한다.