[論文レビュー] Stereoscopic Neural Style Transfer

Dongdong Chen, Lu Yuan+3 more|arXiv (Cornell University)|Feb 28, 2018

Advanced Vision and Imaging参考文献 37被引用数 17

ひとこと要約

本稿では、スタイリング最適化に新たな不一致損失を導入することで、左右の視点間の視差一貫性を維持する、初めてのステレオスコピックニューラルスタイル転送手法を提示する。リアルタイムのフォワードパスネットワークを提案し、スタイリングサブネットワークとエンドツーエンドの双方向視差／オクルージョン推定サブネットワークを統合することで、動画における時間的整合性を保ちながら、3D視覚疲労を顕著に低減する。

ABSTRACT

This paper presents the first attempt at stereoscopic neural style transfer, which responds to the emerging demand for 3D movies or AR/VR. We start with a careful examination of applying existing monocular style transfer methods to left and right views of stereoscopic images separately. This reveals that the original disparity consistency cannot be well preserved in the final stylization results, which causes 3D fatigue to the viewers. To address this issue, we incorporate a new disparity loss into the widely adopted style loss function by enforcing the bidirectional disparity constraint in non-occluded regions. For a practical real-time solution, we propose the first feed-forward network by jointly training a stylization sub-network and a disparity sub-network, and integrate them in a feature level middle domain. Our disparity sub-network is also the first end-to-end network for simultaneous bidirectional disparity and occlusion mask estimation. Finally, our network is effectively extended to stereoscopic videos, by considering both temporal coherence and disparity consistency. We will show that the proposed method clearly outperforms the baseline algorithms both quantitatively and qualitatively.

研究の動機と目的

• 左右の視点間で幾何学的整合性を維持するステレオスコピックスタイル転送手法の不足に対処すること。
• ステレオ画像ペアにおける不整合なスタイリングが引き起こす3D視覚疲労を防止すること。
• AR/VRおよび3Dメディアにおける実用的展開を想定したリアルタイムでフォワードパスのネットワークを開発すること。
• 時間的整合性と視差一貫性を両立させるステレオスコピック動画への拡張を図ること。
• ステレオ画像の双方向視差とオクルージョンマスクを同時に推定するエンドツーエンドのネットワークを設計すること。

提案手法

• 左・右の視点間で対応する可視領域（オクルージョンでない領域）におけるスタイリングの不一致をペナルティ化する視差一貫性損失を導入する。
• 標準的なスタイル損失関数に視差一貫性損失を統合し、エンドツーエンドフレームワーク内で共同最適化を可能にする。
• スタイリング用のStyleNetと双方向視差およびオクルージョンマスク推定用のDispOccNetを有するフォワードパスネットワークアーキテクチャを提案する。
• 性能向上を目的として、まず分離して、次に統合的に訓練する特徴レベルの中間ドメインでサブネットワークを訓練する。
• 先行研究の時間的整合性ネットワークを統合することで、フレーム間の整合性を保証しながら、ステレオスコピック動画へのフレームワークの拡張を図る。
• 推定された視差とオクルージョンマスクを用いた双方向ワープを特徴量の前処理に適用し、スタイリング前に特徴量を整列させることで、幾何学的忠実性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 視差一貫性損失が幾何学的整合性を維持することで、ステレオスコピックスタイル転送における3D視覚疲労を効果的に低減できるか？
• RQ2 スタイリングと視差推定を共同で訓練することで、独立処理と比較して性能がどのように向上するか？
• RQ3 エンドツーエンドのネットワークが、逐次的または単方向アプローチと比較して、双方向視差とオクルージョンマスクをより効果的に推定できるか？
• RQ4 提案手法がステレオスコピック動画のスタイル転送において、時間的整合性をどの程度維持できるか？
• RQ5 左・右の視点を独立にスタイリングするベースライン手法と比較して、提案手法はどのように優れているか？

主な発見

• 提案された視差一貫性損失により、視覚的比較においてベースライン結果が顕著な深度アーティファクトを示すのと対照的に、左右の視点間でのスタイリング不一致が顕著に低減された。
• 定性的および定量的に、ベースライン手法を上回る性能を示し、ステレオスコピック画像ペアにおける知覚的損失が低減され、視覚的整合性が向上した。
• DispOccNetの双方向設計が、単方向代替手法よりも優れた性能を示し、知覚的損失が低く、訓練がより安定したことが確認された。
• フローベースの動画スタイル転送手法で一般的に見られるゴーストアーティファクトが、DispOccNetが明示的に予測するオクルージョンマスクのおかげで解消された。
• StyleNetとDispOccNetの共同訓練により、固定スタイルベースラインと比較して、小さな摂動に対して感受性が低く、より安定で頑健なネットワークが得られた。
• 本手法はステレオスコピック動画への展開に成功し、隣接フレーム間で視差一貫性と時間的整合性の両方を維持した。