[논문 리뷰] Photorealistic Style Transfer for Videos

Michael L. Honke, Rahul Iyer외 1명|arXiv (Cornell University)|2018. 07. 01.

Image Enhancement Techniques참고 문헌 5인용 수 9

한 줄 요약

이 논문은 Luan 등[4]의 사진처럼 사실적인 스타일 정규화와 Ruder 등[1]의 시간적 일관성 손실을 결합하여 사진처럼 사실적인 비디오 스타일 전이를 위한 딥러닝 프레임워크를 제안한다. 국소적으로 애핀 색상 공간 변환과 세분화를 통합하여 비디오 프레임 간의 스타일 전이를 안정화시키며, 떨림과 기형을 줄인 사진처럼 사실적인 결과를 달성한다.

ABSTRACT

Photorealistic style transfer is a technique which transfers colour from one reference domain to another domain by using deep learning and optimization techniques. Here, we present a technique which we use to transfer style and colour from a reference image to a video.

연구 동기 및 목표

• 비디오 시퀀스에 사진처럼 사실적인 스타일 전이를 적용하면서 시간적 일관성을 유지하는 데 도전하는 것.
• 비디오 스타일 전이에서 각 프레임별 최적화로 인한 떨림과 시각적 잡음을 줄이는 것.
• 색상 공간 내 국소 애핀 변환을 강제 적용하여 스타일 전이 중 사진처럼 사실적인 품질을 유지하는 것.
• 학습된 세분화 마스크를 통합하여 자동으로 세분화를 수행함으로써 스타일 전이 품질을 향상시키는 것.
• 사진처럼 사실적인 이미지 스타일 전이와 예술적 비디오 스타일 전이의 손실 함수를 하나의 안정적인 최적화 프레임워크로 통합하는 것.

제안 방법

• Ruder 등[1]의 콘텐츠 손실, 스타일 손실, 시간적 일관성 손실와 Luan 등[4]의 사진처럼 사실적인 정규화 손실을 통합하여 총 손실 함수를 구성한다.
• 색상 공간 내 국소 애핀 변환을 강제하기 위해 매트팅 라플라시안 기반의 손실을 적용하여 스타일 전이 중 이미지 기형을 최소화한다.
• Zhou 등[7]을 통해 자동으로 생성된 세분화 마스크를 추가 입력 채널로 사용하여 각 세분화 영역별로 스타일 전이를 안내한다.
• 스피illover 효과를 줄이기 위해 각 세분류별로 그램 행렬 차이를 계산하는 수정된 스타일 손실 $ L_{s+}^{l} $ 을 도입한다.
• 광학 흐름 워핑을 사용하여 운동 궤적을 따라 프레임 간 불일치를 방지하기 위해 단기 및 장기 시간 손실을 구현한다.
• 콘텐츠와 사진처럼 사실적인 품질을 유지하면서 스타일 전환 비디오 프레임을 생성하기 위해 총 손실 함수를 딥 네트워크를 통해 엔드 투 엔드로 최적화한다.

실험 결과

연구 질문

• RQ1 사진처럼 사실적인 스타일 전이가 비디오 시퀀스에 효과적으로 확장될 수 있는가? 떨림이나 시간적 일관성 문제 없이?
• RQ2 이미지 구조와 사진처럼 사실적인 품질을 유지하기 위해 국소 색상 공간 변환을 어떻게 강제 적용할 수 있는가?
• RQ3 세분화를 통합함으로써 스타일 전환 비디오 출력의 품질과 일관성은 어느 정도 향상되는가?
• RQ4 콘텐츠, 스타일, 사진처럼 사실적인 정규화, 시간적 일관성 손실을 통합한 복합 손실 함수는 안정적이고 고정밀도 비디오 스타일 전이를 달성할 수 있는가?
• RQ5 단기와 장기 시간 제약 조건은 비디오 스타일 전이의 각 프레임 간 안정성 향상에 어떻게 비교될 수 있는가?

주요 결과

• Luan 등[4]의 사진처럼 사실적인 정규화 손실 통합으로 인해 스타일 전환 비디오 프레임의 이미지 기형이 크게 감소하고 시각적 정밀도가 향상된다.
• 세분화 마스크의 사용은 더 맥락 인식형 스타일 전이를 가능하게 하여 스타일의 오염 확산을 줄이고 영역별 일관성을 향상시킨다.
• 광학 흐름 궤적 기반 시간 손실은 떨림을 효과적으로 최소화하고 연속된 프레임 간 부드러운 전환을 보장한다.
• 다양한 손실 성분을 통합한 단일 최적화 프레임워크를 통해 전체 비디오 시퀀스에 걸쳐 안정적이고 사진처럼 사실적인 스타일 전이가 달성된다.
• 다양한 과거 프레임을 고려하는 장기 시간 손실은 단기적 프레임 간 최적화에 비해 일관성을 더욱 향상시킨다.