[論文レビュー] Octree Transformer: Autoregressive 3D Shape Generation on Hierarchically Structured Sequences

Moritz Ibing, Gregor Kobsik+1 more|arXiv (Cornell University)|Nov 24, 2021

3D Shape Modeling and Analysis被引用数 6

ひとこと要約

本論文では、階層的なオクソリーブ表現と学習可能な圧縮方式を用いてシーケンス長を短縮する、新しい自己回帰的3次元形状生成モデルであるOctree Transformerを提案する。畳み込み演算によるオクソリーブシーケンスの圧縮と完全な自己回帰的デコードの両方を可能にすることで、256³までの解像度で競争力ある3次元形状生成およびスーパーレゾリューションを実現するとともに、構造的整合性を維持し、クラス条件付き生成を可能にする。

ABSTRACT

Autoregressive models have proven to be very powerful in NLP text generation tasks and lately have gained popularity for image generation as well. However, they have seen limited use for the synthesis of 3D shapes so far. This is mainly due to the lack of a straightforward way to linearize 3D data as well as to scaling problems with the length of the resulting sequences when describing complex shapes. In this work we address both of these problems. We use octrees as a compact hierarchical shape representation that can be sequentialized by traversal ordering. Moreover, we introduce an adaptive compression scheme, that significantly reduces sequence lengths and thus enables their effective generation with a transformer, while still allowing fully autoregressive sampling and parallel training. We demonstrate the performance of our model by comparing against the state-of-the-art in shape generation.

研究の動機と目的

• 自己回帰的トランスフォーマーを3次元形状生成に適用する際の課題に取り組むこと。これは、3次元ボクセルグリッドにおいて一般的に見られる長大なシーケンスと高いメモリコストが障壁となるためである。
• 自己回帰的生成能力を完全に保持しつつ、シーケンス長を短縮するためのシーケンス圧縮手法を開発すること。
• 構造的で階層的なオクソリーブ表現を用いて、高解像度の3次元形状生成およびスーパーレゾリューションを実現すること。
• 単一の統合的自己回帰フレームワーク内で、クラス条件付き生成とスケーラブルな解像度合成を両立すること。

提案手法

• 本手法は、3次元形状を階層的に表現するためオクソリーブを用い、解像度の関数としてメモリ複雑度を立方体から概ね2乗にまで低減する。
• オクソリーブシーケンスに学習可能な畳み込み圧縮方式を適用し、圧縮ブロック間の自己回帰的依存関係を保持しつつ、シーケンス長の顕著な短縮を実現する。
• 圧縮および復元プロセスは、完全な自己回帰的生成を維持するように設計されており、各トークンが他のブロック内のすべての以前のトークンに依存することを保証する。
• トランスフォーマーデコーダーが圧縮されたシーケンスを自己回帰的に生成し、並列学習が可能な圧縮表現上で注意機構が作用する。
• スーパーレゾリューションのためのシーケンス継続が可能であり、粗いオクソリーブシーケンスを拡張して高解像度形状を生成する。
• 自己回帰的デコード中にクラス埋め込みを条件として与えることで、クラス条件付き生成を実現する。

実験結果

リサーチクエスチョン

• RQ1 3次元ボクセルグリッドに起因する長大なシーケンスと高いメモリコストを抱えるが、自己回帰的トランスフォーマーは3次元形状生成に効果的に適用可能だろうか？
• RQ2 オクソリーブのような階層的・構造的表現を用いて、完全な自己回帰的生成を保持する形で3次元形状シーケンスを圧縮可能だろうか？
• RQ3 学習可能な圧縮方式により、効率的で並列処理可能な学習およびサンプリングが可能となり、生成品質と構造的整合性を維持できるだろうか？
• RQ4 部分的なシーケンスの延長によって、同一モデルを新規形状生成とスーパーレゾリューションの両方で使用可能だろうか？
• RQ5 最先端のGANベースおよびVAEベースの3次元形状生成手法と比較して、本モデルの性能はどの程度か？

主な発見

• Octree Transformerは、256³までの解像度で、一貫性があり多様な形状を示す質的結果を達成し、競争力ある3次元形状生成性能を示した。
• 8倍（3段階）のスケーリングにより、粗いオクソリーブシーケンスから出発して、妥当な高解像度出力を生成する有効なスーパーレゾリューションを実現した。
• 64³解像度では最高の質的結果を達成したが、解像度が上昇するに従い、圧縮率の上昇とモデルサイズの制限により品質が低下した。
• 本手法はクラス条件付き生成をサポートしており、カテゴリラベルに条件づけた形状合成を可能にした。
• 自己回帰的生成の逐次性のため、複雑で高解像度の形状ではサンプリング時間が長く（数分にのぼる）なるが、圧縮処理は並列化可能である。
• 高圧縮率と比較的小さなモデルサイズが主な制限要因となっており、特に高解像度ではノイズや整合性の欠如が偶発的に発生する。