[논문 리뷰] Learning to Generate Synthetic 3D Training Data through Hybrid Gradient

Dawei Yang, Jia Deng|arXiv (Cornell University)|2019. 06. 29.

3D Shape Modeling and Analysis참고 문헌 62인용 수 4

한 줄 요약

이 논문은 단일 이미지 3D 인식 작업에서 일반화 성능을 향상시키기 위해 합성 3D 훈련 데이터 생성을 자동으로 최적화하기 위한 하이브리드 기울기 방법을 제안한다. 유한 차분을 통한 근사 기울기와 전파를 통해 펼친 훈련을 통한 분석 기울기를 조합하여, 연속적인 벡터로 표현된 설계 파라미터(예: 3D 형태, 텍스처)를 효율적으로 최적화하며, 깊이 추정 및 내재 이미지 분해 벤치마크에서 상대적으로 낮은 계산 비용으로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Synthetic images rendered by graphics engines are a promising source for training deep networks. However, it is challenging to ensure that they can help train a network to perform well on real images, because a graphics-based generation pipeline requires numerous design decisions such as the selection of 3D shapes and the placement of the camera. In this work, we propose a new method that optimizes the generation of 3D training data based on what we call "hybrid gradient". We parametrize the design decisions as a real vector, and combine the approximate gradient and the analytical gradient to obtain the hybrid gradient of the network performance with respect to this vector. We evaluate our approach on the task of estimating surface normal, depth or intrinsic decomposition from a single image. Experiments on standard benchmarks show that our approach can outperform the prior state of the art on optimizing the generation of 3D training data, particularly in terms of computational efficiency.

연구 동기 및 목표

• 실제 이미지로의 일반화 성능이 뛰어나도록 설계된 그래픽스 파이프라인 파라미터를 수동으로 설정하는 데에 비효율적인 경우를 해결하기 위해.
• 3D 데이터 생성 파이프라인의 파라미터 조정에 있어 블랙박스 최적화 방법의 계산 비효율성을 해결하기 위해.
• 파이프라인의 미분 가능 및 비미분 가능 구성 요소에 대해 분석 기울기와 근사 기울기를 조합하여, 합성 데이터 생성의 엔드 투 엔드 최적화를 가능하게 하기 위해.
• 깊이 추정, 표면 법선 예측, 내재 이미지 분해와 같은 작업에서 실세계 벤치마크에서 네트워크의 일반화 성능을 향상시키기 위해.
• 하이브리드 기울기 최적화가 이전의 블랙박스 방법보다 정확도와 훈련 효율성 측면에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• 3D 형태 조합, 텍스처 생성, 조명 설정과 같은 설계 결정을 연속적인 실수 벡터 β로 매개변수화하기.
• 광학적으로 현실적인 렌더링로 인해 분석 기울기가 제공되지 않는 경우, 무작위 방향에 대한 평균 유한 차분 근사를 사용하여 β에서 생성된 훈련 이미지 X로의 기울기를 추정하기.
• 펼친 SGD 훈련 단계를 통해 역전파를 통해 훈련 이미지 X에서 네트워크 성능 L로의 분석 기울기를 계산하여, 가역성을 확보하기.
• 근사 기울기(β → X)와 분석 기울기(X → L)를 조합하여 β를 최적화하기 위한 하이브리드 기울기 ∇βL를 구성하기.
• 형태 생성의 미분 가능 샘플링과 매개변수화를 가능하게 하기 위해, 복잡한 3D 형태를 확률적 문맥 자유 문법(PCFG)으로 표현하기.
• 기본적인 딥 네트워크(예: 스택드 아워글라스)를 사용하여 깊이 예측 및 내재 이미지 분해와 같은 특정 최종 작업을 위해 하이브리드 기울기를 적용하여 β를 최적화하기.

실험 결과

연구 질문

• RQ1 하이브리드 기울기 최적화가 실제 이미지로의 일반화 성능이 뛰어난 합성 3D 훈련 데이터 생성에 있어 블랙박스 방법을 능가할 수 있는가?
• RQ2 근사 기울기와 분석 기울기를 조합함으로써 데이터 생성 파이프라인의 최적화 효율성이 어떻게 향상되는가?
• RQ3 3D 형태와 텍스처의 미분 가능 매개변수화가 최종 3D 인식 네트워크의 성능 향상에 어느 정도 기여하는가?
• RQ4 하이브리드 기울기 접근법이 무작위 또는 기본적인 랜덤 서치 기반 베이스라인에 비해 실세계 벤치마크에서 더 나은 일반화 성능을 달성하는가?
• RQ5 내재 이미지 분해와 같은 다중 채널 감독이 필요한 복잡한 데이터 생성 작업으로 이 방법이 확장 가능한가?

주요 결과

• 바젤 얼굴 모델 벤치마크에서 하이브리드 기울기 방법은 무작위 β 대비 상대적 차이 0.02256(무작위 β 기준 0.03718)를 기록하여 무작위 초기화 대비 39.5% 향상된 성능을 보였다.
• 깊이 추정 작업에서 하이브리드 기울기는 RMSE(선형)를 0.0293으로 줄여 기본 랜덤 서치(0.0299)와 무작위 β(0.1014)를 모두 능가했으며, 무작위 β 대비 70.8%의 오차 감소를 기록했다.
• ShapeNet에서 내재 이미지 분해 작업에서 하이브리드 기울기는 알베도 RMSE를 무작위 β 기준 0.198에서 0.189로, 재구성 오차를 0.169에서 0.150으로 줄여 일관된 성능 향상을 보였다.
• 모든 평가된 작업에서 최신 기술 수준의 성능를 달성했으며, 블랙박스 최적화 방법 대비 훨씬 적은 평가 횟수를 요구하여 뛰어난 계산 효율성을 입증했다.
• 하이브리드 기울기 접근법은 3D 형태 및 텍스처 생성을 위한 복잡한 절차적 파이프라인의 엔드 투 엔드 최적화를 가능하게 했으며, 최종 네트워크의 일반화 성능 향상에 측정 가능한 기여를 했다.
• PCFG 기반의 형태 매개변수화를 사용함으로써 복잡한 3D 기하학의 미분 가능하고 연속적인 최적화가 가능해져 효과적인 기울기 기반 튜닝이 가능했다.