[論文レビュー] Deep 3D-to-2D Watermarking: Embedding Messages in 3D Meshes and Extracting Them from 2D Renderings

Innfarn Yoo, Huiwen Chang+5 more|arXiv (Cornell University)|Apr 27, 2021

Advanced Steganography and Watermarking Techniques参考文献 41被引用数 4

ひとこと要約

本論文は、3Dメッシュにメッセージを目に見えない形で埋め込み、さまざまなカメラの視点や照明条件下で2Dレンダリングからも強力に回復できるエンドツーエンドのディープラーニングフレームワークを提案する。微分可能レンダラーと統合されたジオメトリ・テクスチャ符号化を活用することで、3D変形後でも高いビット精度を達成し、レンダラー間での一般化性が強く、微分可能である初めての3Dから2Dへのウェイトマーキングシステムを実現した。

ABSTRACT

Digital watermarking is widely used for copyright protection. Traditional 3D watermarking approaches or commercial software are typically designed to embed messages into 3D meshes, and later retrieve the messages directly from distorted/undistorted watermarked 3D meshes. However, in many cases, users only have access to rendered 2D images instead of 3D meshes. Unfortunately, retrieving messages from 2D renderings of 3D meshes is still challenging and underexplored. We introduce a novel end-to-end learning framework to solve this problem through: 1) an encoder to covertly embed messages in both mesh geometry and textures; 2) a differentiable renderer to render watermarked 3D objects from different camera angles and under varied lighting conditions; 3) a decoder to recover the messages from 2D rendered images. From our experiments, we show that our model can learn to embed information visually imperceptible to humans, and to retrieve the embedded information from 2D renderings that undergo 3D distortions. In addition, we demonstrate that our method can also work with other renderers, such as ray tracers and real-time renderers with and without fine-tuning.

研究の動機と目的

• メッセージの抽出が通常3Dメッシュからのみ行われる3Dウェイトマーキングにおけるギャップを解消すること。
• 多様なカメラアングル、照明、および3D変形の下で、3Dメッシュから生成された2D画像からもメッセージを強力に回復できることを実現すること。
• 微分可能レンダラーを介して、3D埋め込みと2D復号を同時に最適化する完全に微分可能なフレームワークを開発すること。
• レイトレーサーやリアルタイムレンダラーなど、微分不能なレンダラー間でもデコーダーの一般化性能を示すこと。
• メッセージ容量、歪みに対する耐性、視覚的非可視性という観点から性能を評価すること。

提案手法

• 学習可能なエンコーダーを用いて、人間の知覚に影響を及えない形で、3Dメッシュのジオメトリと2Dテクスチャの両方にメッセージを埋め込む。
• 微分可能レンダラーが複数のカメラビューと照明条件から2D画像の生成をシミュレートし、レンダリングプロセス全体に逆誤差伝搬を可能にする。
• 3D歪み（ノイズ、スケーリング、回転、クロップ）と微分可能レンダリングを組み合わせて、エンドツーエンドで訓練し、耐性を高める。
• デコーダーは、HiDDeNにインspiredされたCNNアーキテクチャを用い、グローバルプーリングと全結合層を介してビット予測を実行する。
• トレーニング中に実際のテクスチャとノイズベースのテクスチャの両方をサポートし、アブレーションスタディで性能差を示した。
• レイトレーザーやリアルタイムレンダラーなどの微分不能レンダラーに対しても、デコーダーのファインチューニングが可能で、幅広い適用性を実現する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングフレームワークは、変化するカメラの視点や照明条件下でも、3Dメッシュに埋め込んだメッセージを2Dレンダリングから回復できるか？
• RQ2 スケーリング、回転、クロップ、加法的ノイズといった一般的な3D歪みに対して、ウェイトマーキングシステムはどれほど耐性があるか？
• RQ3 微分可能レンダラーはエンドツーエンドのトレーニングを可能にし、多様なレンダリング条件にわたる一般化性能をどれほど向上させるか？
• RQ4 トレーニング済みのデコーダーは、再トレーニングなしでレイトレーザーやリアルタイムレンダラーなどの微分不能レンダラーからもメッセージを抽出できるか？
• RQ5 従来の3Dウェイトマーキング手法と比較して、メッセージ容量と視覚的品質のトレードオフはどのように異なるか？

主な発見

• 実際のテクスチャでトレーニングした場合、ノイズ、スケーリング、回転、クロップ歪みの下でも、長さ8のメッセージに対して90%を超える高いビット精度を達成した。
• 強力なノイズ（σ = 0.133）や大規模な歪みに対しても、ビット精度が80%以上を維持し、耐性の高さを示した。
• リアルタイムレンダラーでファインチューニングしたデコーダーは95%を超えるビット精度を達成し、レンダリングパイプライン全体にわたる一般化性能の高さを示した。
• 視覚的品質は保持されており、差分画像から、オリジナルとウェイトマーキング済み2Dレンダリングの間で最小限の知覚的歪みが生じていることが確認された。
• 特にデコーダーのファインチューニングを経て、レイトレーザーやリアルタイムレンダラーなどの微分不能レンダラーに対しても一般化が可能である。
• 2Dテクスチャにのみメッセージを埋め込む従来のベースライン手法とは異なり、本手法は3Dから2Dへのレンダリング歪みに対して耐性があるため、優れた性能を示した。