[論文レビュー] 3D Appearance Super-Resolution with Deep Learning

Yawei Li, Vagia Tsiminaki+3 more|arXiv (Cornell University)|Jun 3, 2019

Advanced Image Processing Techniques参考文献 48被引用数 4

ひとこと要約

本論文は、3Dアピアランススーパーレゾリューションのための3DASRデータセットと、法線マップを介して3D幾何的プライオリティを統合した2Dスーパーレゾリューションネットワークを活用する深層学習ベースのフレームワークを紹介する。モデルベース手法と同等の性能を達成しながら、高速でフォワードプロパゲーション可能な推論を可能とし、実際のデータと合成データを用いたマルチビュー3Dテクスチャスーパーレゾリューションにおける深層学習の初の統合を達成した。

ABSTRACT

We tackle the problem of retrieving high-resolution (HR) texture maps of objects that are captured from multiple view points. In the multi-view case, model-based super-resolution (SR) methods have been recently proved to recover high quality texture maps. On the other hand, the advent of deep learning-based methods has already a significant impact on the problem of video and image SR. Yet, a deep learning-based approach to super-resolve the appearance of 3D objects is still missing. The main limitation of exploiting the power of deep learning techniques in the multi-view case is the lack of data. We introduce a 3D appearance SR (3DASR) dataset based on the existing ETH3D [42], SyB3R [31], MiddleBury, and our Collection of 3D scenes from TUM [21], Fountain [51] and Relief [53]. We provide the high- and low-resolution texture maps, the 3D geometric model, images and projection matrices. We exploit the power of 2D learning-based SR methods and design networks suitable for the 3D multi-view case. We incorporate the geometric information by introducing normal maps and further improve the learning process. Experimental results demonstrate that our proposed networks successfully incorporate the 3D geometric information and super-resolve the texture maps.

研究の動機と目的

• 2Dスーパーレゾリューションの深層学習手法と3Dマルチビュー外観再構成の間のギャップを埋めるために、2D手法を3Dテクスチャドメインに適応すること。
• トレーニングと評価のための高解像度と低解像度のテクスチャマップがペアで整備された大規模かつ多様な3Dテクスチャデータセットの不足に対処すること。
• 特に法線マップを通じて3D幾何的情報を2D深層学習ネットワークに統合し、テクスチャスーパーレゾリューションの品質を向上させること。
• 深層学習ベースの3Dアピアランススーパーレゾリューションが、計算コストの高いモデルベース手法に近い性能を達成しつつ、高速でフォワードプロパゲーション可能な推論を可能にすることを示すこと。
• データ駆動的でスケーラブルかつ効率的な3Dオブジェクト外観のスーパーレゾリューションを可能にすることで、3Dコンテンツ作成分野における新たな研究分野を開拓すること。

提案手法

• 著者らは、ETH3D、SyB3R、MiddleBury、TUM、Fountain、Reliefの実際の3Dシーンと合成3Dシーンを組み合わせることで、3DASRデータセットを構築した。これにより、高解像度（HR）および低解像度（LR）のテクスチャマップ、3Dメッシュ、画像、投影行列、法線マップが提供された。
• 画像形成プロセスを、3D幾何からテクスチャへのマッピングと、テクスチャから画像への投影の合成としてモデル化し、同一の高解像度テクスチャマップから一貫したLRおよびHRテクスチャペアを生成可能とした。
• 提案されたフレームワークは、2D深層学習スーパーレゾリューションネットワーク（例：EDSR）を、局所的な3D表面幾何を符号化する追加の入力チャネルとして法線マップを統合することで変更した。
• 事前学習済み2Dモデルをテクスチャドメインに適応させるためのファインチューニング戦略（EDSR-FT）を含み、標準的な補間法やベースラインネットワークよりも性能が向上した。
• 幾何的プライオリティとデータ精度の影響を調査するため、複数のバリエーション（EDSR-FT、NLR（低解像度法線マップ）、NHR（高解像度法線マップ））を評価した。
• トレーニングと評価パイプラインは、サブセットと全データセットでの交差検証を用い、データサイズとサブセットの特性がモデルの一般化に与える影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 ドメイン特化データの不足を踏まえ、深層学習ベースのスーパーレゾリューション手法が3Dマルチビュー外観スーパーレゾリューションタスクに効果的に適応可能であるか？
• RQ2 法線マップによる3D幾何的情報の統合が、標準的な2D SR手法と比較して、スーパーレゾルブドテクスチャマップの品質にどのように寄与するか？
• RQ3 トレーニングデータサイズとサブセット固有の特性の両者が、多様な3Dシーンにわたるモデルの一般化に与える相対的影響は何か？
• RQ4 PSNRと推論速度の観点から、提案された深層学習ベースのアプローチは、確立されたモデルベースのスーパーレゾリューション手法と比較してどの程度の性能を示すか？
• RQ5 高解像度法線マップは低解像度のものと比較して、再構築品質をさらに向上させるか？

主な発見

• 提案された深層学習ベースの3DASRフレームワークは、EDSRなどの高速なフォワードプロパゲーションネットワークであるにもかかわらず、MiddleBuryおよびCollectionデータセットにおいてHRSTなどのモデルベース手法と同等のPSNR値を達成した。
• 法線マップの統合により再構築品質が顕著に向上した：NHR（高解像度法線マップ）はNLR（低解像度法線マップ）を上回り、幾何的詳細がテクスチャ回復を向上させることを示した。
• トレーニングデータサイズはサブセット固有の特性よりもより重要な要因である。NLR（全データセット）はNLR-Sub（交差検証サブセット）を上回り、特にETH3Dのような大規模データセットで顕著だった。
• EDSRモデルをテクスチャドメインでファインチューニングしたEDSR-FTは、事前学習済みモデルをそのまま使用するよりも優れた結果を示し、テクスチャ固有の性能向上のためのドメイン適応が不可欠であることを示した。
• ETH3Dでは、モデルベースのHRST手法が深層学習アプローチを上回ったが、PSNRの差は小さく、深層学習手法が競争力を持っていることを示唆した。
• 視覚的結果から、提案手法がより細かいテクスチャディテールを回復し、バイキュービックアップサンプリングや標準EDSRで見られるぼやけや白いテクセルのアーチファクトを回避していることが確認された。