[논문 리뷰] DRWR: A Differentiable Renderer without Rendering for Unsupervised 3D Structure Learning from Silhouette Images

Zhizhong Han, Chao Chen외 2명|arXiv (Cornell University)|2020. 07. 12.

Advanced Vision and Imaging참고 문헌 55인용 수 22

한 줄 요약

DRWR는 렌더링 없이도 3D 포인트 클라우드 재구성에 적합한 미분 가능 렌더러를 제안하며, 실루엣 이미지에서 비지도 학습을 위해 사용된다. 부드러운 실루엣 손실을 통해 3D 포인트 투영을 전경으로 끌어들이고, 구조 인식형 반발력 손실을 통해 포인트의 응집을 방지한다. 픽셀 수준의 보간, 가시성 처리, 음영 처리를 제거함으로써 훨씬 더 빠른 훈련과 함께 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Differentiable renderers have been used successfully for unsupervised 3D structure learning from 2D images because they can bridge the gap between 3D and 2D. To optimize 3D shape parameters, current renderers rely on pixel-wise losses between rendered images of 3D reconstructions and ground truth images from corresponding viewpoints. Hence they require interpolation of the recovered 3D structure at each pixel, visibility handling, and optionally evaluating a shading model. In contrast, here we propose a Differentiable Renderer Without Rendering (DRWR) that omits these steps. DRWR only relies on a simple but effective loss that evaluates how well the projections of reconstructed 3D point clouds cover the ground truth object silhouette. Specifically, DRWR employs a smooth silhouette loss to pull the projection of each individual 3D point inside the object silhouette, and a structure-aware repulsion loss to push each pair of projections that fall inside the silhouette far away from each other. Although we omit surface interpolation, visibility handling, and shading, our results demonstrate that DRWR achieves state-of-the-art accuracies under widely used benchmarks, outperforming previous methods both qualitatively and quantitatively. In addition, our training times are significantly lower due to the simplicity of DRWR.

연구 동기 및 목표

• 3D 구조 학습을 위한 미분 가능 렌더러에서의 고비용 렌더링 문제를 해결하기 위해.
• 픽셀 수준의 보간, 가시성 처리, 음영 처리가 실루엣 기반 정확한 3D 재구성에 필수적인지 여부를 조사하기 위해.
• 렌더링을 생략하면서도 재구성 품질을 유지하거나 향상시키는 경량의 미분 가능 렌더러를 개발하기 위해.
• 2D 실루엣 감독만을 사용하여 효율적이고 강건한 3D 포인트 클라우드 재구성 훈련을 가능하게 하기 위해.

제안 방법

• DRWR는 전통적인 픽셀 수준의 손실을 3D 포인트의 2D 투영에 직접 작용하는 투영 기반 손실로 대체한다.
• 3D 포인트 투영이 전경에 도달할 때까지 비제로 기울기를 제공하는 부드러운 실루엣 손실을 적용하여 局부 최소값 문제를 완화한다.
• 두 포인트 투영이 모두 실루엣 내부에 있을 경우에만 적응적으로 서로를 밀어내는 구조 인식형 반발력 손실을 사용하여 커버리지와 분포를 향상시킨다.
• 표면 보간, 가시성 처리(예: z-버퍼링), 음영 처리를 회피하여 렌더링 오버헤드를 제거한다.
• 손실 함수는 단항 및 쌍방향 구성 요소로 구성되며, 단항 손실은 포인트를 실루엣으로 끌어당기고, 쌍방향 손실은 전경 내에서 공간적 분산을 강제한다.
• 백프로파게이션을 사용한 엔드 투 엔드 최적화로, 손실의 미분 가능성 덕분에 3D 포인트 클라우드 매개변수의 기울기 기반 학습이 가능하다.

실험 결과

연구 질문

• RQ1 3D 구조 학습은 3D 포인트의 2D 투영에만 의존하여 렌더링 없이도 달성될 수 있는가?
• RQ2 픽셀 수준의 보간, 가시성 처리, 음영 처리를 제거하면 재구성 정확도가 떨어지거나 향상되는가?
• RQ3 부드러운 실루엣 손실이 실루엣 기반 3D 재구성에서 국부 최소값 문제를 효과적으로 해결할 수 있는가?
• RQ4 투영된 포인트 간의 구조 인식형 반발력이 형상 커버리지와 일반화를 어떻게 향상시키는가?
• RQ5 렌더링 파이프라인을 제거할 경우 훈련 효율성과 재구성 정확도 사이의 상충 관계는 어떠한가?

주요 결과

• DRWR는 표준 벤치마크에서 최신 기술 수준의 성능을 달성하며, 실루엣에서의 3D 포인트 클라우드 재구성에서 정량적·정성적으로 이전 방법들을 능가한다.
• 제거 실험 결과, 부드러운 실루엣 손실 또는 구조 인식형 반발력 손실을 제거할 경우 성능 저하가 심각하게 발생함을 확인하여 이들의 필수성을 입증한다.
• DRWR를 사용한 훈련은 DPC(이전 최신 기술 수준의 포인트 기반 미분 가능 렌더러)보다 최대 2배 빠르며, 128² 해상도에서 16,000개 포인트 재구성의 훈련 시간이 약 72시간에서 약 36시간으로 감소한다.
• DRWR는 실제 이미지로의 일반화 능력이 뛰어나, 미세조정 없이도 인터넷에서 확보한 실루엣 이미지로부터 고해상도 재구성을 생성한다.
• 잠재 공간 보간 결과, DRWR는 의미 있는 연속적인 잠재 공간을 학습하며, 학습된 형태 사이의 부드러운 형상 보간이 가능함을 보여준다.
• 구조 인식 기반 손실은 부드러운 실루엣 손실과 반발력 손실 간의 갈등을 감소시켜 더 빠른 수렴과 낮은 훈련 손실을 이끈다.