[논문 리뷰] Image2Lego: Customized LEGO Set Generation from Images

Kyle R. Lennon, Katharina Fransen외 6명|arXiv (Cornell University)|2021. 08. 19.

Advanced Vision and Imaging참고 문헌 24인용 수 4

한 줄 요약

이 논문은 2D 이미지에서 사용자 정의 가능한 3D LEGO® 브릭 모델을 생성하는 엔드 투 엔드 파이프라인인 Image2Lego를 제시한다. 이는 잠재 표현을 위한 새로운 옥트리 구조 자동에코더와 이미지에서 이 잠재 공간을 예측하는 전용 네트워크를 사용한다. 이 시스템은 사진을 직접 물리적으로 조립 가능한 LEGO® 세트로 변환할 수 있으며, 단계별 지침과 애니메이션을 제공한다. 다양한 응용 분야를 지원하며, 해상도 유연성도 확보한다. 특히 얼굴 모델링과 텍스트에서 LEGO® 생성에 이르기까지 다양한 기능을 제공한다.

ABSTRACT

Although LEGO sets have entertained generations of children and adults, the challenge of designing customized builds matching the complexity of real-world or imagined scenes remains too great for the average enthusiast. In order to make this feat possible, we implement a system that generates a LEGO brick model from 2D images. We design a novel solution to this problem that uses an octree-structured autoencoder trained on 3D voxelized models to obtain a feasible latent representation for model reconstruction, and a separate network trained to predict this latent representation from 2D images. LEGO models are obtained by algorithmic conversion of the 3D voxelized model to bricks. We demonstrate first-of-its-kind conversion of photographs to 3D LEGO models. An octree architecture enables the flexibility to produce multiple resolutions to best fit a user's creative vision or design needs. In order to demonstrate the broad applicability of our system, we generate step-by-step building instructions and animations for LEGO models of objects and human faces. Finally, we test these automatically generated LEGO sets by constructing physical builds using real LEGO bricks.

연구 동기 및 목표

• 초보자 빌더가 고급 3D 모델링 기술 없이도 2D 이미지에서 복잡하고 개인화된 LEGO® 세트를 만들 수 있도록 하는 것.
• 완전한 엔드 투 엔드 파이프라인을 통해 2D 이미지 입력과 물리적으로 실현 가능한 3D LEGO® 브릭 모델 간 격차를 메우는 것.
• 사용자 요구에 맞게 다양한 해상도 출력을 지원하여, 작은 장식용 모델에서 세밀한 독립형 세트에 이르기까지 다양한 목적에 적합한 것.
• DALL-E와의 통합을 통해 3D 얼굴 복원 및 텍스트에서 LEGO® 생성과 같은 새로운 응용 분야를 지원하기 위해 파이프라인을 확장하는 것.
• LeoCAD를 사용하여 실물 조립과 자동 지침 생성을 통해 시스템을 검증하는 것.

제안 방법

• 3D 볼록체화된 LEGO® 모델을 기반으로 새로운 옥트리 구조 자동에코더를 훈련시켜, 재구성에 적합한 압축된 계층적 잠재 표현을 학습한다.
• 단일 2D 이미지에서 잠재 코드를 예측하기 위해 별도의 딥러닝 네트워크를 훈련시켜, 이미지에서 3D 모델로의 변환을 가능하게 한다.
• 예측된 잠재 코드는 3D 볼록체 격자로 복원되며, 이는 규칙 기반 매핑 전략을 사용하여 호환 가능한 LEGO® 브릭 세트로 알고리즘적으로 변환된다.
• 8³, 16³, 32³ 등 다양한 출력 해상도를 지원하여 세부 사항과 조립 가능성의 균형을 맞추며, 높은 해상도에서는 구조적 정밀도를 유지한다.
• 모델 입력 이전에 배경 매트팅을 적용하여 주제를 이미지에서 분리함으로써 재구성 품질을 향상시킨다.
• 예측된 모델을 기반으로 Volumetric Regression Network(VCN)과 같은 사전 훈련된 모델을 통합하여 3D 얼굴 복원을 지원하고, DALL-E를 통한 텍스트에서 이미지 생성 기능을 통합함으로써 캡션 기반 LEGO® 모델 생성이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 단일 2D 이미지에서 충분한 기하학적 정밀도를 확보하여 LEGO® 변환에 적합한 3D 볼록체 모델을 정확하게 재구성할 수 있는가?
• RQ2 유연한 해상도의 3D 모델 생성에 적합한 LEGO® 브릭 조립에 적합한 잠재 공간 표현을 어떻게 설계할 수 있는가?
• RQ3 사진과 텍스트 생성 이미지 등 다양한 입력에서 물리적으로 안정적이고 조립 가능한 LEGO® 모델을 얼마나 잘 생성할 수 있는가?
• RQ4 재구성 품질을 손상시키지 않고도 3D 얼굴 모델링 및 텍스트에서 LEGO® 생성과 같은 새로운 사용 사례를 지원하기 위해 파이프라인을 확장할 수 있는가?
• RQ5 다양한 해상도 수준이 결과 모델의 시각적 및 구조적 정밀도에 어떤 영향을 미치는가?

주요 결과

• 실제 LEGO® 브릭을 사용한 물리적 조립을 통해 실세계 사진이 3D LEGO® 호환 모델로 성공적으로 변환되었으며, 물리적으로 실현 가능한 구조를 유지한다.
• 16³ 및 32³ 해상도에서 항공기나 인간 얼굴과 같은 입력 객체의 주요 특징이 명확히 유지된다.
• LeoCAD 소프트웨어를 사용하여 16³ 해상도의 항공기 모델(40개 브릭 포함)에 대해 완전한 조립 지침과 부품 목록을 생성했다.
• 시스템은 다중 스케일 기능을 보이며, 8³, 16³, 32³ 해상도의 모든 모델이 식별 가능한 물체 구조를 보여주지만, 4³ 해상도는 식별이 어려운 수준이다.
• DALL-E와의 통합을 통해 '호박 스타일의 소파'와 같은 텍스트 기반 기술을 통해 LEGO® 모델 생성이 가능해졌으며, 이는 사진 입력을 초월한 시스템의 확장성과 유연성을 보여준다.
• 이 방법은 사진을 직접 3D LEGO® 모델로 변환하고, 완전한 조립 지침과 물리적 실현 가능성을 제공하는 것으로 알려진 첫 번째 사례이며, 창의적 3D 모델링 접근성 분야에서 중요한 도약을 이룬다.