[논문 리뷰] Differentiable Rendering with Perturbed Optimizers

Quentin Le Lidec, Ivan Laptev외 2명|arXiv (Cornell University)|2021. 10. 18.

Advanced Vision and Imaging참고 문헌 29인용 수 8

한 줄 요약

이 논문은 래스터라이제이션과 Z-버퍼링과 같은 비미분 가능 렌더링 연산을 매끄럽고 미분 가능하게 만들기 위해 랜덤화된 스무딩을 사용하는 미분 가능 perturbed 렌더러를 소개한다. 이러한 연산들을 최적화 문제의 해로 재구성하고, 편향된 최적화 기법을 적용함으로써 부드러운 근사치보다 더 정확한 기울기를 제공하며, 6D 자세 추정과 자기지도 학습 기반 3D 메시 재구성에서 최신 기술 수준의 성능을 달성하며 안정성과 성능이 향상된다.

ABSTRACT

Reasoning about 3D scenes from their 2D image projections is one of the core problems in computer vision. Solutions to this inverse and ill-posed problem typically involve a search for models that best explain observed image data. Notably, images depend both on the properties of observed scenes and on the process of image formation. Hence, if optimization techniques should be used to explain images, it is crucial to design differentiable functions for the projection of 3D scenes into images, also known as differentiable rendering. Previous approaches to differentiable rendering typically replace non-differentiable operations by smooth approximations, impacting the subsequent 3D estimation. In this paper, we take a more general approach and study differentiable renderers through the prism of randomized optimization and the related notion of perturbed optimizers. In particular, our work highlights the link between some well-known differentiable renderer formulations and randomly smoothed optimizers, and introduces differentiable perturbed renderers. We also propose a variance reduction mechanism to alleviate the computational burden inherent to perturbed optimizers and introduce an adaptive scheme to automatically adjust the smoothing parameters of the rendering process. We apply our method to 3D scene reconstruction and demonstrate its advantages on the tasks of 6D pose estimation and 3D mesh reconstruction. By providing informative gradients that can be used as a strong supervisory signal, we demonstrate the benefits of perturbed renderers to obtain more accurate solutions when compared to the state-of-the-art alternatives using smooth gradient approximations.

연구 동기 및 목표

• 3D 시나리오 재구성에 널리 사용되는 핵심 렌더링 연산—래스터라이제이션과 깊이 집계—의 비미분 가능성 문제를 해결하기 위해.
• 비연속적인 연산을 편향된 최적화 기법과 연결함으로써 이론적으로 탄탄하고 일반적인 프레임워크를 제공하기 위해.
• 최적화 과정에서 민감도 분석을 기반으로 편향된 매개변수를 조정하는 적응형 스무딩 기법을 개발하여, 편향된 렌더링에서 기울기 분산을 줄이고 학습 효율성과 안정성을 향상시키기 위해.
• 편향된 최적화 기법을 통해 비연속적인 렌더링 연산을 미분 가능하게 만들고, 이로 인해 기울기 품질을 향상시키며, 3D 재구성 및 자세 추정 작업에서 더 나은 수렴과 안정성을 확보하기 위해.
• 자기지도 학습 기반 3D 메시 재구성과 6D 자세 추정 과제에서 기존의 부드러운 기울기 근사치보다 우수한 성능을 보여주기 위해.

제안 방법

• 래스터라이제이션과 집계를 최적화 문제로 재구성하여, 출력이 타당 집합 위에서 선형 함수의 argmax가 되도록 설정한다.
• 목적 함수에 무작위 편향을 도입함으로써 랜덤화된 스무딩을 적용하여 비연속적인 연산을 미분 가능하게 한다.
• 편향된 기울기 추정의 기울기 분산을 줄이기 위해 제어 변수 기법을 사용하여 더 날카롭고 신뢰할 수 있는 업데이트를 가능하게 한다.
• 렌더러 출력이 편향에 대해 민감도 분석을 기반으로 편향 매개변수를 조정하는 적응형 기법을 도입한다.
• 신경망을 사용한 자기지도 학습 파이프라인에 편향된 렌더러를 통합하여 실루엣, RGB 및 라플라시안 정규화 손실을 활용한 3D 메시 재구성에 적용한다.
• 표준 최적화(Adam)를 사용하며, 메모리 제약 조건이 있을 경우 대용량 배치 미세조정에 대해 결정론적 근사치(예: SoftRas)로 전환할 수 있도록 지원한다.

실험 결과

연구 질문

• RQ1 래스터라이제이션과 Z-버퍼링과 같은 비미분 가능 렌더링 연산을 원칙적이고 일반화 가능한 프레임워크를 통해 어떻게 미분 가능하게 만들 수 있는가?
• RQ2 편향된 최적화 기법을 통한 랜덤화된 스무딩은 기존의 부드러운 기울기 근사치와 비교해 기울기 품질과 최적화 성능 측면에서 어떻게 다를까?
• RQ3 분산 감소 기법은 편향된 렌더링에서 기울기 추정의 안정성과 효율성을 향상시키는 데 어떤 영향을 미치는가?
• RQ4 적응형 스무딩 전략은 3D 재구성 및 자세 추정 과정에서 수렴성과 강건성을 향상시키는 데 효과적인가?
• RQ5 제안된 편향된 렌더러는 자기지도 학습 기반 3D 메시 재구성과 6D 자세 추정 과제에서 최신 기술 수준의 다른 렌더러를 능가하는가?

주요 결과

• 자기지도 학습 기반 3D 메시 재구성에서 제안된 편향된 렌더러는 ShapeNet 데이터셋에서 평균 3D IoU 61.0%를 달성하여 SoftRas(58.6%)와 DIB-R(59.9%)를 능가한다.
• 6D 자세 추정 벤치마크에서, 부드러운 기울기 근사치를 사용하는 최신 기술 대비 더 높은 정확도를 확보했다.
• 다양한 무작위 시드에서 낮은 표준편차(예: 평균 IoU의 ±0.11)를 보이며 안정성이 향상되었음을 입증했다.
• 적응형 스무딩 기법은 기울기 품질과 계산 비용 사이의 균형을 효과적으로 유지하여 약한 편향 조건에서도 신뢰할 수 있는 최적화를 가능하게 했다.
• 그림 7의 정성적 결과는 편향된 렌더러가 단일 이미지에서 고해상도의 색상이 있는 3D 메시 재구성을 생성함으로써 강력한 시각적 지도를 제공함을 보여준다.
• 이 방법은 기존의 렌더링 파이프라인에 최소한의 수정으로 통합 가능하며, SoftRas와 같은 이전 접근법을 일반화한다.