[논문 리뷰] 3D Reconstruction of Incomplete Archaeological Objects Using a Generative Adversary Network

Renato Hermoza, Ivan Sipiran|arXiv (Cornell University)|2017. 11. 17.

Image Processing and 3D Reconstruction참고 문헌 23인용 수 3

한 줄 요약

이 논문은 3D 인코더-디코더 아키텍처를 사용하고 완성도 손실 및 향상된 워샤르스키 GAN 손실이라는 이중 손실 목표를 활용하여 부분적으로 손상된 3D 고고학적 유물의 복원을 위한 조건부 생성 적대 신경망(GAN)인 ORGAN을 제안한다. 모델은 문화나 지역과 같은 메타데이터에 조건을 두어, 복원된 기하학적 구조의 정확성을 높이며, 복셀의 50퍼센트 이상가 손실된 경우에도 구조적 오류를 최소화한다.

ABSTRACT

We introduce a data-driven approach to aid the repairing and conservation of archaeological objects: ORGAN, an object reconstruction generative adversarial network (GAN). By using an encoder-decoder 3D deep neural network on a GAN architecture, and combining two loss objectives: a completion loss and an Improved Wasserstein GAN loss, we can train a network to effectively predict the missing geometry of damaged objects. As archaeological objects can greatly differ between them, the network is conditioned on a variable, which can be a culture, a region or any metadata of the object. In our results, we show that our method can recover most of the information from damaged objects, even in cases where more than half of the voxels are missing, without producing many errors.

연구 동기 및 목표

• 최소한의 인간 간섭으로 손상된 3D 고고학적 유물의 복원 문제를 해결하기 위해.
• 문화나 지역 메타데이터에 조건을 두어 다양한 고고학적 유물 유형에 일반화되는 데이터 기반 접근법을 개발하기 위해.
• 예를 들어 복셀의 절반 이상이 손실된 경우와 같은 심한 가림 또는 기하학적 누락 상황에서도 복원 정밀도를 향상시키기 위해.
• 유사한 손실 함수 설계를 통해 생성된 복원에서 아티팩트와 기하학적 오류를 줄이기 위해.

제안 방법

• 이 방법은 생성 적대 신경망(GAN) 프레임워크 내에서 3D 인코더-디코더 신경망 아키텍처를 활용한다.
• 생성자 네트워크는 입력으로 주어진 부분 스캔을 바탕으로 손상된 3D 객체의 누락된 기하학적 구조를 예측한다.
• 도메인 특화 사전 지식을 유도하기 위해 문화나 지역과 같은 메타데이터에 조건을 두어 복원을 지도한다.
• 두 가지 손실 함수를 사용한다: 복원 오차를 최소화하기 위한 완성도 손실과 학습 안정화 및 샘플 품질 향상을 위한 향상된 워샤르스키 GAN 손실.
• 판별자 네트워크는 실제와 생성된 손상된 객체 간의 실재감을 구분하여 생성된 형태의 현실성 평가를 수행한다.
• 모델은 기하학적 정확도와 복원된 형태의 지각적 현실감을 동시에 최적화하기 위해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 조건부 GAN이 복셀의 50퍼센트 이상가 손실된 3D 고고학적 유물을 효과적으로 복원할 수 있는가?
• RQ2 문화나 지역 메타데이터에 조건을 두었을 때 복원 정확도와 다양한 유물 유형 간 일반화 능력은 얼마나 향상되는가?
• RQ3 완성도 손실과 향상된 워샤르스키 GAN 손실을 조합함으로써 생성된 복원에서 아티팩트가 줄어들고 기하학적 정밀도가 향상되는 정도는 어느 정도인가?
• RQ4 재학습 없이도 메타데이터 조건에 기반해 새로운 객체 유형에 일반화 가능한가?

주요 결과

• 제안된 방법은 복셀의 절반 이상이 손실된 경우조차도 대부분의 누락된 기하학적 구조를 성공적으로 복원한다.
• 문화나 지역과 같은 메타데이터에 조건을 두었을 때 복원 정확도와 기하학적 일관성이 뚜렷이 향상된다.
• 완성도 손실과 향상된 워샤르스키 GAN 손실의 조합은 기준선 방법에 비해 아티팩트가 적고 더 현실적인 형태 생성을 이끈다.
• 각 클래스에 대해 재학습이 필요 없이 다양한 고고학적 유물 유형에 잘 일반화된다.