[논문 리뷰] Deep 3D-to-2D Watermarking: Embedding Messages in 3D Meshes and Extracting Them from 2D Renderings

Innfarn Yoo, Huiwen Chang외 5명|arXiv (Cornell University)|2021. 04. 27.

Advanced Steganography and Watermarking Techniques참고 문헌 41인용 수 4

한 줄 요약

이 논문은 다양한 카메라 시점과 조명 조건 하에서도 3D 메시에 메시지를 눈에 띄지 않게 삽입하고 2D 렌더링에서 강력하게 복원할 수 있는 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 미분 가능 렌더러와 공동 기하학-텍스처 인코딩을 활용하여, 3D 왜곡 이후에도 높은 비트 정확도를 달성하며, 다양한 렌더러 간 일반화 능력이 뛰어난 첫 번째 완전히 미분 가능한 3D에서 2D로의 워터마킹 시스템을 구현한다.

ABSTRACT

Digital watermarking is widely used for copyright protection. Traditional 3D watermarking approaches or commercial software are typically designed to embed messages into 3D meshes, and later retrieve the messages directly from distorted/undistorted watermarked 3D meshes. However, in many cases, users only have access to rendered 2D images instead of 3D meshes. Unfortunately, retrieving messages from 2D renderings of 3D meshes is still challenging and underexplored. We introduce a novel end-to-end learning framework to solve this problem through: 1) an encoder to covertly embed messages in both mesh geometry and textures; 2) a differentiable renderer to render watermarked 3D objects from different camera angles and under varied lighting conditions; 3) a decoder to recover the messages from 2D rendered images. From our experiments, we show that our model can learn to embed information visually imperceptible to humans, and to retrieve the embedded information from 2D renderings that undergo 3D distortions. In addition, we demonstrate that our method can also work with other renderers, such as ray tracers and real-time renderers with and without fine-tuning.

연구 동기 및 목표

• 메시지가 일반적으로 3D 메시에서만 복원되는 3D 워터마킹의 격차를 보완하기 위해.
• 다양한 카메라 각도, 조명 조건, 3D 왜곡 하에서도 3D 메시에서 생성된 2D 이미지에서 메시를 강력하게 복원할 수 있도록 하기 위해.
• 미분 가능 렌더러를 통해 3D 삽입과 2D 복원을 동시에 최적화하는 완전히 미분 가능한 프레임워크를 개발하기 위해.
• 레이어 트레이서나 실시간 렌더러와 같은 비미분 가능 렌더러 간의 일반화 능력을 입증하기 위해.
• 메시지 용량, 왜곡에 대한 강건성, 시각적 은폐성 측면에서 성능을 평가하기 위해.

제안 방법

• 프레임워크는 3D 메시 기하학과 2D 텍스처 양쪽에 메시지를 인지적으로 감지되지 않게 삽입하기 위한 학습 가능한 인코더를 사용한다.
• 미분 가능 렌더러는 다양한 카메라 시점과 조명 조건에서 2D 이미지 생성을 시뮬레이션하며, 렌더링 과정을 통해 역전파를 가능하게 한다.
• 시스템은 3D 왜곡(노이즈, 스케일링, 회전, 자르기)과 미분 가능 렌더링을 조합하여 엔드 투 엔드로 훈련함으로써 강건성을 향상시킨다.
• 디코더는 HiDDeN에 영감을 받은 CNN 기반 아키텍처를 사용하여 2D 렌더링된 이미지에서 삽입된 메시지를 추출하며, 비트 예측을 위한 글로벌 풀링과 완전 연결층을 포함한다.
• 훈련 중 실수 및 노이즈 기반 텍스처를 모두 지원하며, 아블레이션 연구를 통해 성능 차이를 확인한다.
• 레이어 트레이서나 실시간 렌더러와 같은 비미분 가능 렌더러를 사용하기 위해 디코더를 미세조정할 수 있어 광범위한 적용 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 딥 러닝 프레임워크가 3D 메시에 메시지를 삽입하여 다양한 카메라 시점과 조명 조건 하에서도 2D 렌더링에서 복원 가능할 수 있는가?
• RQ2 스케일링, 회전, 자르기, 추가 노이즈와 같은 일반적인 3D 왜곡에 대해 워터마킹 시스템의 강건성은 어느 정도인가?
• RQ3 미분 가능 렌더러가 엔드 투 엔드 훈련을 가능하게 하고 다양한 렌더링 조건 간 일반화 능력을 향상시키는 데 얼마나 기여하는가?
• RQ4 레이어 트레이서나 실시간 렌더러와 같은 비미분 가능 렌더러에서 재훈련 없이도 훈련된 디코더가 메시지를 추출할 수 있는가?
• RQ5 메시지 용량과 시각적 품질 간의 트레이드오프는 기존의 3D 워터마킹 방법과 비교해 어떻게 되는가?

주요 결과

• 실 텍스처로 훈련한 경우, 추가 노이즈, 스케일링, 회전, 자르기 왜곡 하에서도 길이 8인 메시에 대해 90% 이상의 높은 비트 정확도를 달성한다.
• 강한 노이즈(σ = 0.133)와 큰 스케일 왜곡 조건 하에서도 비트 정확도가 80% 이상 유지되어 강건성을 입증한다.
• 실시간 렌더러에서 디코더를 미세조정한 경우 95% 이상의 비트 정확도를 달성하여 다양한 렌더링 파이프라인 간 강력한 일반화 능력을 보여준다.
• 시각적 품질은 유지되며, 원본과 워터마킹된 2D 렌더링 간의 차이 이미지에서 눈에 띄는 인지적 왜곡이 최소한으로 나타난다.
• 레이어 트레이서나 실시간 렌더러와 같은 비미분 가능 렌더러로도 일반화가 가능하며, 특히 디코더를 미세조정한 후에 더욱 뚜렷하다.
• 메시지를 2D 텍스처에만 삽입하는 기존 베이스라인 방법에 비해 성능이 뛰어나며, 3D에서 2D로의 렌더링 왜곡에 의해 강건성이 떨어지는 문제를 해결한다.