[论文解读] Image2Lego: Customized LEGO Set Generation from Images

Kyle R. Lennon, Katharina Fransen+6 more|arXiv (Cornell University)|Aug 19, 2021

Advanced Vision and Imaging参考文献 24被引用 4

一句话总结

本文提出 Image2Lego，一种端到端的流水线，通过使用新型八叉树结构自编码器进行潜在表征，并采用专用网络从图像预测该潜在空间，从而从2D图像生成可自定义的3D LEGO®积木模型。该系统首次实现了将照片直接转换为可物理搭建的LEGO®套装，支持分步说明和动画，适用于灵活分辨率，并可拓展至人脸建模和文本到LEGO®生成等多种应用。

ABSTRACT

Although LEGO sets have entertained generations of children and adults, the challenge of designing customized builds matching the complexity of real-world or imagined scenes remains too great for the average enthusiast. In order to make this feat possible, we implement a system that generates a LEGO brick model from 2D images. We design a novel solution to this problem that uses an octree-structured autoencoder trained on 3D voxelized models to obtain a feasible latent representation for model reconstruction, and a separate network trained to predict this latent representation from 2D images. LEGO models are obtained by algorithmic conversion of the 3D voxelized model to bricks. We demonstrate first-of-its-kind conversion of photographs to 3D LEGO models. An octree architecture enables the flexibility to produce multiple resolutions to best fit a user's creative vision or design needs. In order to demonstrate the broad applicability of our system, we generate step-by-step building instructions and animations for LEGO models of objects and human faces. Finally, we test these automatically generated LEGO sets by constructing physical builds using real LEGO bricks.

研究动机与目标

• 使普通用户无需掌握高级3D建模技能，即可从2D图像创建复杂且个性化的LEGO®套装。
• 通过完整的端到端流水线，弥合2D图像输入与可实际构建的3D LEGO®积木模型之间的差距。
• 支持灵活的输出分辨率，以满足不同用户需求，从小型装饰模型到精细的独立套装。
• 通过与DALL-E集成，将流水线扩展至新应用，如3D人脸重建和文本到LEGO®生成。
• 通过实际物理搭建和使用LeoCAD生成自动化说明，对系统进行验证。

提出的方法

• 在3D体素化LEGO®模型上训练一种新型八叉树结构自编码器，以学习适合重建的紧凑、分层潜在表征。
• 训练一个独立的深度学习网络，从单张2D图像预测潜在码，实现图像到3D模型的转换。
• 将预测的潜在码解码为3D体素网格，再通过基于规则的映射策略，算法性地转换为一组兼容的LEGO®积木。
• 系统支持多种输出分辨率（如8³、16³、32³），在细节与可构建性之间取得平衡，更高分辨率可更好地保持结构保真度。
• 在输入模型前，应用背景抠像作为预处理步骤，以分离主体与背景，提升重建质量。
• 通过集成预训练模型（如用于3D人脸重建的体积分量回归网络VRN和用于文本到图像生成的DALL-E），扩展流水线，实现基于文字描述的LEGO®模型创建。

实验结果

研究问题

• RQ1 深度学习流水线能否从单张2D图像准确重建出几何保真度足够高的3D体素化模型，以支持LEGO®转换？
• RQ2 如何设计潜在空间表征，以支持适合LEGO®积木构建的灵活分辨率3D模型生成？
• RQ3 该系统在处理多样化输入（包括照片和文本生成图像）时，能在多大程度上生成物理稳定且可构建的LEGO®模型？
• RQ4 该流水线能否在不损害重建质量的前提下，扩展至新用例，如3D人脸建模和文本到LEGO®生成？
• RQ5 不同分辨率级别如何影响最终LEGO®模型的视觉与结构保真度？

主要发现

• 系统成功将真实世界照片转换为可物理实现的3D LEGO®兼容模型，通过实际使用真实LEGO®砖块进行搭建得到验证。
• 在16³和32³分辨率下，生成的模型清晰保留了输入对象的特征，如飞机或人脸的轮廓。
• 该流水线为16³分辨率的飞机模型（共40块砖）生成了完整的搭建说明和零件清单，使用LeoCAD软件实现。
• 系统展现出多尺度能力，8³、16³和32³分辨率的模型均能识别出可辨识的物体结构，而4³分辨率过低，难以识别。
• 与DALL-E集成后，可基于文本描述生成LEGO®模型，例如“一个葫芦风格的扶手椅”，证明了系统在照片输入之外的可扩展性。
• 该方法首次实现了将照片直接转换为带完整搭建说明和物理可实现性的3D LEGO®模型，标志着创意3D建模可及性的重大进展。