[논문 리뷰] Adversarial Texture Optimization from RGB-D Scans

Jingwei Huang, Justus Thies외 6명|arXiv (Cornell University)|2020. 03. 18.

Generative Adversarial Networks and Image Synthesis참고 문헌 37인용 수 9

한 줄 요약

이 논문은 기하학적 오차와 카메라 자세 오차에 대해 강건한 텍스처 최적화 프레임워크를 제안한다. 이는 RGB-D 스캔에서 사진처럼 생생한 텍스처를 생성하기 위해 조건부 패치 기반 판별자를 학습시켜, 실제와 비정합된 이미지 쌍을 '실제' 학습 예제로 사용함으로써, 명시적인 오차 모델링 없이도 오차에 강인한 손실 함수를 학습한다. 이로 인해 기존 최고 수준의 방법보다 더 선명하고 현실적인 텍스처를 생성할 수 있다.

ABSTRACT

Realistic color texture generation is an important step in RGB-D surface reconstruction, but remains challenging in practice due to inaccuracies in reconstructed geometry, misaligned camera poses, and view-dependent imaging artifacts. In this work, we present a novel approach for color texture generation using a conditional adversarial loss obtained from weakly-supervised views. Specifically, we propose an approach to produce photorealistic textures for approximate surfaces, even from misaligned images, by learning an objective function that is robust to these errors. The key idea of our approach is to learn a patch-based conditional discriminator which guides the texture optimization to be tolerant to misalignments. Our discriminator takes a synthesized view and a real image, and evaluates whether the synthesized one is realistic, under a broadened definition of realism. We train the discriminator by providing as `real' examples pairs of input views and their misaligned versions -- so that the learned adversarial loss will tolerate errors from the scans. Experiments on synthetic and real data under quantitative or qualitative evaluation demonstrate the advantage of our approach in comparison to state of the art. Our code is publicly available with video demonstration.

연구 동기 및 목표

• 일반적인 오류인 카메라 자세의 비정합성과 노이즈가 많은 기하학적 구조에도 불구하고 RGB-D 스캔에서 사진처럼 생생한 텍스처를 생성하는 데 도전하는 것.
• 카메라 정렬, 이미지 매핑, 색상 보정에 대해 수작업으로 설계된 파rametric 모델에 의존하는 전통적 최적화 방법의 한계를 극복하는 것.
• 스캐닝 아티팩트와 비정합성에 대해 내재적으로 강건한 학습된 적대적 목적 함수를 개발하는 것.
• 실제 스캔과 CAD 모델에 대해 실세계 이미지로 고품질 텍스처링을 가능하게 하되, 기하학적 및 자세적 불일치가 큰 경우에도 적용 가능한 것.

제안 방법

• 실제 재투영된 이미지(비정합 스캔에서 유도된 것)와 최적화된 텍스처에서 渲染된 이미지를 구분할 수 있도록 조건부 판별자를 학습한다.
• 실제와 비정합된 시야 쌍을 기반으로 판별자를 학습함으로써, 일반적인 스캐닝 오차를 견디면서도 블러나 실밥과 같은 합성 아티팩트를 탐지할 수 있도록 학습한다.
• 텍스처 최적화 과정에서 판별자와 함께 적대적 손실을 최적화함으로써, 생성된 텍스처가 실제 재투영된 시야와 구분되지 않도록 유도한다.
• 명시적인 시야 선택 또는 혼합 전략을 피하기 위해, 학습된 거리 측도를 통해 다수의 시야에서 색상 정보를 암묵적으로 통합한다.
• 지역적 현실감을 강조하고 세밀한 텍스처 품질을 향상시키기 위해 패치 기반 판별자를 사용한다.
• 이 방법은 실제 스캔과 스캔에 정렬된 CAD 모델 모두에 적용 가능하여, 심지어 극심한 기하학적 불일치가 있는 경우에도 현실적인 텍스처링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 명시적인 오차 모델링 없이도 학습된 적대적 손실이 RGB-D 스캔에서 흔히 발생하는 비정합성에 대해 강건하게 작동할 수 있는가?
• RQ2 전통적인 L1/L2 또는 인지적 손실 기반 방법과 비교할 때, 적대적 텍스처 최적화 방법은 선명함과 현실감에서 어떤가?
• RQ3 제안된 방법은 실제 스캔에 대해 근사적으로 정렬된 CAD 모델에서도 고품질 텍스처를 생성할 수 있는가?
• RQ4 판별자의 비정합성에 대한 일반화 능력이 기존 최적화 목표 함수에 비해 텍스처 품질을 얼마나 향상시키는가?
• RQ5 노이즈가 많은 기하학적 구조와 정확하지 않은 카메라 자세 등의 실제 스캐닝 오류 상황에서 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• 실제 물체 스캔에서 제안된 방법은 가장 낮은 인지적 손실(0.175)을 기록했으며, L1(0.197), ColorMap(0.186), Sharpest(0.222), 3DLite(0.185), VGG(0.272)를 모두 앞서나갔다.
• ScanNet 장면 스캔에서 제안된 방법은 인지적 손실 0.395를 기록했으며, 다음으로 우수한 성능을 보인 3DLite(0.445)보다 유의미하게 낮았다.
• 기하학적으로 비정합한 CAD 모델에서는 인지적 손실 0.176을 기록했으며, 모든 기준선 방법보다 뛰어났고, VGG(0.289) 역시 뛰어넘었다.
• 63명의 참가자가 참여한 사용자 연구에서, 제안된 방법은 입력 이미지에 가장 가까운 렌더링을 생성한다는 점에서 모든 기준선 방법보다 선호되었다.
• 특히 심각한 비정합성 상황에서 기존 최고 수준의 방법보다 더 선명하고, 블러, 노이즈, 실밥 아티팩트가 적은 텍스처를 생성했다.
• 단일 TITAN X GPU에서 물체당 7.3분, 장면당 33.4분 내외로 실행되어 실용적 구현 가능성을 입증했다.