[논문 리뷰] Stereoscopic Neural Style Transfer

Dongdong Chen, Lu Yuan외 3명|arXiv (Cornell University)|2018. 02. 28.

Advanced Vision and Imaging참고 문헌 37인용 수 17

한 줄 요약

이 논문은 스타일 전이 최적화 과정에 새로운 디스패리티 일致 손실을 도입하여 좌우 시야 간 디스패리티 일관성을 유지하는 최초의 스테레오스코픽 신경 스타일 전이 방법을 제안한다. 실시간 피드포워드 네트워크를 제안하며, 스타일화 서브넷과 종단 간 양방향 디스패리티/차폐 추정 서브넷을 결합하여 영상의 시간적 일관성을 유지하면서도 3D 시각 피로를 크게 감소시킨다.

ABSTRACT

This paper presents the first attempt at stereoscopic neural style transfer, which responds to the emerging demand for 3D movies or AR/VR. We start with a careful examination of applying existing monocular style transfer methods to left and right views of stereoscopic images separately. This reveals that the original disparity consistency cannot be well preserved in the final stylization results, which causes 3D fatigue to the viewers. To address this issue, we incorporate a new disparity loss into the widely adopted style loss function by enforcing the bidirectional disparity constraint in non-occluded regions. For a practical real-time solution, we propose the first feed-forward network by jointly training a stylization sub-network and a disparity sub-network, and integrate them in a feature level middle domain. Our disparity sub-network is also the first end-to-end network for simultaneous bidirectional disparity and occlusion mask estimation. Finally, our network is effectively extended to stereoscopic videos, by considering both temporal coherence and disparity consistency. We will show that the proposed method clearly outperforms the baseline algorithms both quantitatively and qualitatively.

연구 동기 및 목표

• 좌우 시야 간 기하학적 일관성을 유지하는 스테레오스코픽 스타일 전이 방법의 부족을 해결한다.
• 스테레오스코픽 이미지 쌍에서 일관되지 않은 스타일 전이로 인한 3D 시각 피로를 방지한다.
• AR/VR 및 3D 미디어에 실용적으로 구현 가능한 실시간 피드포워드 네트워크를 개발한다.
• 시간적 일관성을 유지하면서도 디스패리티 일관성을 확보하는 스테레오스코픽 영상에 대한 방법을 확장한다.
• 스테레오 이미지의 양방향 디스패리티와 차폐 마스크를 동시에 추정하는 종단 간 네트워크를 설계한다.

제안 방법

• 좌우 시야의 대응되는 비차폐 영역에서 스타일 전이의 일관성 부족을 방지하기 위해 디스패리티 일관성 손실을 도입한다.
• 표준 스타일 손실 함수에 디스패리티 일관성 손실을 통합하여 종단 간 프레임워크에서 공동 최적화를 가능하게 한다.
• 스타일화를 위한 StyleNet과 양방향 디스패리티 및 차폐 마스크 추정을 위한 DispOccNet을 포함하는 피드포워드 네트워크 아키텍처를 제안한다.
• 성능 향상을 위해 먼저 별도로, 그 다음 공동으로 특징 수준의 중간 도메인에서 서브넷을 훈련시킨다.
• 이전 연구에서 제안된 시간적 일관성 네트워크를 통합하여 스테레오스코픽 영상에 프레임워크를 확장한다. 이는 프레임 간 일관성을 보장한다.
• 예측된 디스패리티와 차폐 마스크를 사용해 이중 방향 워핑을 수행하여 스타일 전이 이전에 특징을 정렬함으로써 기하학적 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 디스패리티 일관성 손실이 기하학적 일관성을 유지함으로써 스테레오스코픽 스타일 전이에서 3D 시각 피로를 효과적으로 줄일 수 있는가?
• RQ2 스타일 전이와 디스패리티 추정을 공동으로 훈련시키는 것이 별도 처리보다 성능 향상에 기여하는가?
• RQ3 종단 간 네트워크가 순차적 또는 단일 방향 접근보다 양방향 디스패리티와 차폐 마스크를 더 효과적으로 추정할 수 있는가?
• RQ4 제안된 방법이 스테레오스코픽 영상 스타일 전이에서 시간적 일관성을 어느 정도 유지하는가?
• RQ5 좌우 시야를 별도로 스타일 전이하는 기준 방법에 비해 제안된 방법은 어떻게 비교되는가?

주요 결과

• 제안된 디스패리티 일관성 손실은 빌드된 결과에서 시각적 비교를 통해 좌우 시야 간 스타일 전이의 일관성 부족을 크게 감소시킴을 입증한다. 기준 방법의 결과에서는 명확한 깊이 아티팩트가 관찰된다.
• 제안된 방법은 정량적·정성적 측면에서 기준 방법을 능가하며, 스테레오스코픽 이미지 쌍에서 감지 손실이 감소하고 시각적 일관성이 향상된다.
• DispOccNet의 이중 방향 설계는 단일 방향 대안보다 성능이 뛰어나며, 낮은 감지 손실과 더 안정적인 훈련을 통해 확인된다.
• 흐림 아티팩트는 흐름 기반 영상 스타일 전이 방법에서 흔한 문제이지만, DispOccNet에서 직접 예측한 차폐 마스크를 사용함으로써 제거된다.
• StyleNet과 DispOccNet의 공동 훈련은 고정 스타일 기준 방법보다 더 안정적이고 강건한 네트워크를 만들어내며, 소규모 변형에 대한 민감도를 감소시킨다.
• 제안된 방법은 스테레오스코픽 영상로도 성공적으로 확장되었으며, 인접 프레임 간 디스패리티 일관성과 시간적 일관성을 유지한다.