[論文レビュー] Image2Lego: Customized LEGO Set Generation from Images

Kyle R. Lennon, Katharina Fransen+6 more|arXiv (Cornell University)|Aug 19, 2021

Advanced Vision and Imaging参考文献 24被引用数 4

ひとこと要約

本論文では、2次元画像から3次元のLEGO®ブロックモデルを生成するエンドツーエンドのパイプライン「Image2Lego」を提案する。本手法は、潜在表現のための新規なオクトリーベースのオートエンコーダーと、画像からこの潜在空間を予測する専用ネットワークを採用している。本システムにより、写真を直接物理的に組み立て可能なLEGO®セットに変換でき、段階的な手順説明とアニメーションを備えた、解像度の柔軟な設定が可能であり、顔のモデリングやテキストからLEGO®への生成といった多様な応用にも対応している。

ABSTRACT

Although LEGO sets have entertained generations of children and adults, the challenge of designing customized builds matching the complexity of real-world or imagined scenes remains too great for the average enthusiast. In order to make this feat possible, we implement a system that generates a LEGO brick model from 2D images. We design a novel solution to this problem that uses an octree-structured autoencoder trained on 3D voxelized models to obtain a feasible latent representation for model reconstruction, and a separate network trained to predict this latent representation from 2D images. LEGO models are obtained by algorithmic conversion of the 3D voxelized model to bricks. We demonstrate first-of-its-kind conversion of photographs to 3D LEGO models. An octree architecture enables the flexibility to produce multiple resolutions to best fit a user's creative vision or design needs. In order to demonstrate the broad applicability of our system, we generate step-by-step building instructions and animations for LEGO models of objects and human faces. Finally, we test these automatically generated LEGO sets by constructing physical builds using real LEGO bricks.

研究の動機と目的

• 一般のユーザーが、高度な3次元モデリングスキルを必要とせずに、2次元画像から複雑でパーソナライズされたLEGO®セットを生成できるようにすること。
• 完全でエンドツーエンドのパイプラインを通じて、2次元画像入力と物理的に実現可能な3次元LEGO®ブロックモデルの間のギャップを埋めること。
• ユーザーのニーズに応じて解像度を柔軟に調整可能な出力に対応し、小さな装飾用モデルから詳細な単体セットまで対応可能にすること。
• DALL-Eとの統合により、3次元顔再構築やテキストからLEGO®への生成といった新規な応用にも対応できるようにパイプラインを拡張すること。
• LeoCADを用いた自動手順生成と実際の物理的組み立てを通じて、システムの妥当性を検証すること。

提案手法

• 3次元ボクセル化LEGO®モデルを用いて、再構成に適したコンパクトで階層的な潜在表現を学習する、新規なオクトリーブ構造のオートエンコーダーを訓練する。
• 単一の2次元画像から潜在コードを予測する別個のディープラーニングネットワークを訓練し、画像から3次元モデルへの変換を実現する。
• 予測された潜在コードをデコードして3次元ボクセルグリッドに変換し、ルールベースのマッピング戦略を用いて、互換性のあるLEGO®ブロックの集合に変換する。
• 8³、16³、32³などの複数の出力解像度をサポートし、詳細さと組み立て可能性のバランスを図る。高解像度では構造の忠実度が保たれる。
• 入力前に被写体を画像から分離するために、背景マッティングを前処理として適用し、再構成品質を向上させる。
• Volumetric Regression Network (VRN) と DALL-E といった事前学習済みモデルを統合することで、パイプラインを拡張し、キャプション駆動のLEGO®モデル作成を可能にする。

実験結果

リサーチクエスチョン

• RQ1 単一の2次元画像から、LEGO®変換に十分な幾何的忠実度を備えた3次元ボクセル化モデルを、深層学習パイプラインで正確に再構成できるか？
• RQ2 LEGO®ブロック構築に適した、解像度の柔軟性を備えた3次元モデル生成を可能にする潜在空間表現は、どのように設計できるか？
• RQ3 本システムは、写真やテキスト生成画像といった多様な入力から、物理的に安定で組み立て可能なLEGO®モデルをどれほど効果的に生成できるか？
• RQ4 再構成品質を損なわせることなく、3次元顔モデリングやテキストからLEGO®への生成といった新規なユースケースをパイプラインに拡張できるか？
• RQ5 異なる解像度レベルが、得られるLEGO®モデルの視覚的・構造的忠実度にどのように影響するか？

主な発見

• 本システムは、実際のLEGO®ブロックを用いた物理的組み立てによって検証された、現実の写真を3次元LEGO®互換モデルに変換でき、物理的に実現可能な構造を有している。
• 16³および32³解像度では、飛行機や人間の顔といった入力オブジェクトの特徴が明確に保持されている。
• 16³解像度の飛行機モデルに対して、LeoCADソフトウェアを用いて40個のブリックを含む完全な組立手順書と部品リストを生成した。
• 本システムはマルチスケール能力を示しており、8³、16³、32³解像度のモデルはすべて識別可能なオブジェクト構造を示しているが、4³解像度は識別が困難である。
• DALL-Eとの統合により、『カボチャのスタイルのソファ』といったテキスト記述からLEGO®モデルを生成でき、本システムの写真入力以外の拡張性を示している。
• 本手法は、写真を完全な組立手順と物理的実現可能性を備えた3次元LEGO®モデルに直接変換する、知られざる初の例を達成し、創造的3次元モデリングのアクセシビリティ分野における顕著な前進を示している。