[논문 리뷰] Neural Stereoscopic Image Style Transfer

Xinyu Gong, Haozhi Huang외 4명|arXiv (Cornell University)|2018. 02. 27.

Advanced Image Processing Techniques참고 문헌 19인용 수 4

한 줄 요약

이 논문은 이종적 이미지에 대한 시각 일致성 신경 스타일 전이를 위한 이중 경로 컨볼루션 신경망을 제안하며, 게이팅 메커니즘을 갖춘 학습 가능한 특징 융합 블록과 다층 시각 손실을 사용하여 좌우 시야 간의 스타일 전이를 동기화합니다. 제안된 방법은 단일 이미지 스타일 전이 기준선 대비 뛰어난 시각 일치성과 지각 품질을 달성합니다.

ABSTRACT

Neural style transfer is an emerging technique which is able to endow daily-life images with attractive artistic styles. Previous work has succeeded in applying convolutional neural networks (CNNs) to style transfer for monocular images or videos. However, style transfer for stereoscopic images is still a missing piece. Different from processing a monocular image, the two views of a stylized stereoscopic pair are required to be consistent to provide observers a comfortable visual experience. In this paper, we propose a novel dual path network for view-consistent style transfer on stereoscopic images. While each view of the stereoscopic pair is processed in an individual path, a novel feature aggregation strategy is proposed to effectively share information between the two paths. Besides a traditional perceptual loss being used for controlling the style transfer quality in each view, a multi-layer view loss is leveraged to enforce the network to coordinate the learning of both the paths to generate view-consistent stylized results. Extensive experiments show that, compared against previous methods, our proposed model can produce stylized stereoscopic images which achieve decent view consistency.

연구 동기 및 목표

• 기존 방법이 좌우 시야 간의 일관성 없는 스타일 전이로 인해 시각적 불편을 유발함에 따라, 스테레오 이미지에서 시각 일관성 있는 스타일 전이의 부족을 해결하기 위함입니다.
• 심층 신경망 프레임워크를 개발하여 스테레오 쌍의 양쪽 시야를 동시에 스타일 전이하면서 깊이 인식과 시각적 일관성을 유지하기 위함입니다.
• 특히 겹치지 않는 영역이나 일치하지 않는 영역에서 효과적으로 특징을 융합할 수 있는 특징 융합 메커니즘을 설계하기 위함입니다.
• 두 개의 네트워크 경로 간의 훈련을 조율하기 위해 다층 시각 손실을 도입하여 다양한 스케일에서 일관된 스타일 전이를 보장하기 위함입니다.

제안 방법

• 모델는 좌우 시야를 별도이지만 동기화된 스트림으로 처리하는 이중 경로 인코더-디코더 아키텍처를 사용합니다.
• 학습 가능한 특징 융합 블록은 워핑, 게이팅, 연결을 통해 양 경로의 특징을 융합하며, 게이트 맵은 망막 영역에서 신뢰할 수 없는 특징을 억제하는 데 학습합니다.
• 게이팅 메커니즘은 원본 특징과 왜곡된 특징 간에 동적으로 선택하여 잘못된 디스parity 추정으로 인한 아티팩트를 줄입니다.
• 다층 시각 손실은 여러 특징 레이어에 걸쳐 적용되어 두 시야 간의 스타일 전이 결과 일관성을 강제합니다.
• 각 개별 시야에서 콘텐츠 무결성과 스타일 전이 품질을 유지하기 위해 지각 손실을 시각 손실과 함께 사용합니다.
• 지각 손실, 시각 손실, 콘텐츠 손실을 함께 사용하여 종합적으로 스타일, 콘텐츠, 상호 시야 일관성을 최적화하는 엔드 투 엔드 훈련을 수행합니다.

실험 결과

연구 질문

• RQ1 심층 신경망을 설계하여 스테레오 이미지에 대해 시각 일관성을 유지하면서 스타일 전이를 수행할 수 있는가?
• RQ2 오버랩 및 디스파리 오류로 인한 불일치를 줄이기 위해 스테레오 시야 간의 특징 융합을 효과적으로 학습할 수 있는가?
• RQ3 이중 경로 네트워크에서 좌우 시야의 스타일 전이를 조율하는 데 가장 효과적인 손실 함수는 무엇인가?
• RQ4 다층 시각 손실은 단일 레이어 또는 시각 손실 없이 비교해 볼 때 일관성을 향상시키는가?

주요 결과

• 주관적 연구에서 제안된 방법이 가장 높은 사용자 선호도를 기록했으며, 존슨 등이 제안한 단일 이미지 스타일 전이 방법 결과보다 73%의 투표가 이를 선호했습니다.
• 제안된 특징 융합 블록을 포함한 W-G-CON-IV 버전은 가장 낮은 다층 시각 손실(1028)과 다층 콘텐츠 손실(481,056)을 기록하여 뛰어난 시각 일관성과 콘텐츠 보존 능력을 입증했습니다.
• 게이트 맵의 시각화 결과는 네트워크가 오른쪽 시야의 망막 영역에서의 특징을 억제하는 것을 학습했음을 확인했으며, 이는 아티팩트 감소에 기여했습니다.
• 제거 실험 결과, 특징 연결(CON-IV)이 단일 이미지 기준선(SingleImage-IV) 대비 시각 손실을 감소시켰고, 완전한 W-G-CON-IV 모델은 성능을 더욱 향상시켰습니다.
• 다층 시각 손실은 더 낮은 MVL과 더불어 스테레오 쌍 간의 일관성 있는 스타일 전이 결과를 보여주어 시각 불일치를 크게 감소시켰습니다.