[논문 리뷰] Characterizing and Improving Stability in Neural Style Transfer

Agrim Gupta, Justin Johnson외 2명|arXiv (Cornell University)|2017. 05. 05.

Generative Adversarial Networks and Image Synthesis참고 문헌 31인용 수 18

한 줄 요약

이 논문은 신경 스타일 전이에서의 불안정성의 근본 원인을 특정한다—구체적으로 스타일 이미지의 그람 행렬의 트레이스와 해 집합의 안정성 사이의 역관계이며, 실시간으로 깜빡임이 없는 스타일화된 영상을 구현하기 위해 시간적 일관성 손실를 갖춘 반복형 합성곱 신경망을 제안한다. 이 방법은 이전의 최적화 기반 접근 방식 대비 1000배 빠른 속도로 거의 최적화 수준의 품질을 달성한다.

ABSTRACT

Recent progress in style transfer on images has focused on improving the quality of stylized images and speed of methods. However, real-time methods are highly unstable resulting in visible flickering when applied to videos. In this work we characterize the instability of these methods by examining the solution set of the style transfer objective. We show that the trace of the Gram matrix representing style is inversely related to the stability of the method. Then, we present a recurrent convolutional network for real-time video style transfer which incorporates a temporal consistency loss and overcomes the instability of prior methods. Our networks can be applied at any resolution, do not re- quire optical flow at test time, and produce high quality, temporally consistent stylized videos in real-time.

연구 동기 및 목표

• 비디오에 적용했을 때 실시간 신경 스타일 전이 방법에서 발생하는 깜빡임 불안정성의 원인을 조사하고 특성화하는 것.
• 스타일 전이에서 해 집합의 안정성에 영향을 주는 핵심 요소로 스타일 이미지의 그람 행렬의 트레이스를 규명하는 것.
• 시간적 일관성을 유지하면서도 높은 시각적 품질을 확보하는 실시간 영상 스타일 전이 방법을 개발하는 것.
• 피드포워드 방법의 한계(깜빡임)와 최적화 기반 방법의 한계(저속도)를 극복하기 위해 두 방법의 장점을 융합하는 것.

제안 방법

• 저자들은 스타일 전이에서 그람 행렬 매칭 목표의 해 집합을 분석하여, 그 집합이 스타일 이미지의 그람 행렬의 트레이스에 따라 달라지는 반지름을 갖는 구면을 이룬다는 것을 보여준다.
• 비디오 프레임을 순차적으로 처리하여 시간적 일관성을 유지하는 반복형 합성곱 신경망(R-CNN)을 제안한다.
• 연속된 시간 단계에서 그람 행렬 매칭 목표에 대해 유사한 해를 유도하기 위해 시간적 일관성 손실를 도입한다.
• 추론 시점에서 광학 흐름을 필요로 하지 않아, 흐름 추정 오류로 인한 오류를 방지한다.
• 콘텐츠 손실, 스타일 손실, 시간적 일관성 손실의 조합으로 엔드 투 엔드로 네트워크를 훈련시킨다.
• 해상도에 관계없이 일반화 가능하며, 재학습 없이도 임의의 스타일 전이를 지원한다.

실험 결과

연구 질문

• RQ1 실시간 신경 스타일 전이 방법을 비디오에 적용했을 때 발생하는 깜빡임 불안정성의 원인은 무엇인가?
• RQ2 스타일 이미지의 그람 행렬의 트레이스는 스타일 전이 해 집합의 안정성과 어떻게 관련이 있는가?
• RQ3 시간적 일관성 손실를 갖춘 반복 아키텍처는 낮은 깜빡임으로 높은 품질의 실시간 영상 스타일 전이를 달성할 수 있는가?
• RQ4 제안된 방법은 피드포워드 및 최적화 기반 스타일 전이 기준선 대비 성능과 안정성에서 어떻게 비교되는가?

주요 결과

• 스타일 이미지의 그람 행렬의 트레이스는 해 집합의 안정성과 반비례한다: 트레이스가 클수록 불안정도와 깜빡임이 심해진다.
• 제안된 반복 네트워크는 레인 프린세스 스타일에서 PSNR/SSIM이 각각 27.76/0.9194를 기록하여 실시간 기준선(26.00/0.7432)보다 시간적 일관성에서 뚜렷한 우수성을 보였다.
• 사용자 연구 결과, 213명의 참가자 중 133명이 제안된 방법을 실시간 기준선보다 선호하였으며, 눈에 띄게 낮은 깜빡임을 인지했다.
• 이 방법은 최적화 기반 기준선 수준으로 깜빡임을 줄였고(예: PSNR/SSIM 23.44/0.9240 vs. 최적화 기준선 23.68/0.9136), 同시에 1000배 빠른 속도를 확보했다.
• 이 방법은 입력 왜곡에 대해 강건하여 자연 이미지 쌍과 유사한 이미지 유사도를 유지하는 반면, 실시간 기준선은 이와 달리 유사도가 급격히 감소하였다.
• 시험 시점에서 광학 흐름에 의존하지 않아, Sintel 데이터셋에서의 실험을 통해 흐름 추정 오류로 인한 실패 모드를 피할 수 있었다.