[論文レビュー] ShapeCoder: Discovering Abstractions for Visual Programs from Unstructured Primitives

R. Kenny Jones, Paul Guerrero+2 more|arXiv (Cornell University)|May 9, 2023

Software Engineering Research被引用数 4

ひとこと要約

ShapeCoderは、形状からプログラムへの認識ネットワークと条件付きリライトを備えたeグラフを用いて、ラベルなしのプログラム、階層的部品ラベル、プログラムの順序制約が不要な未構造化なプリミティブベースの形状データセットから、ハイレベルな抽象化関数およびコンパクトなビジュアルプログラムを発見する画期的なシステムである。複雑な3次元形状データセットにおいて、アノテートされたプログラムや階層的部品ラベルを必要とせず、優れた圧縮率と抽象化品質を達成している。

ABSTRACT

Programs are an increasingly popular representation for visual data, exposing compact, interpretable structure that supports manipulation. Visual programs are usually written in domain-specific languages (DSLs). Finding "good" programs, that only expose meaningful degrees of freedom, requires access to a DSL with a "good" library of functions, both of which are typically authored by domain experts. We present ShapeCoder, the first system capable of taking a dataset of shapes, represented with unstructured primitives, and jointly discovering (i) useful abstraction functions and (ii) programs that use these abstractions to explain the input shapes. The discovered abstractions capture common patterns (both structural and parametric) across the dataset, so that programs rewritten with these abstractions are more compact, and expose fewer degrees of freedom. ShapeCoder improves upon previous abstraction discovery methods, finding better abstractions, for more complex inputs, under less stringent input assumptions. This is principally made possible by two methodological advancements: (a) a shape to program recognition network that learns to solve sub-problems and (b) the use of e-graphs, augmented with a conditional rewrite scheme, to determine when abstractions with complex parametric expressions can be applied, in a tractable manner. We evaluate ShapeCoder on multiple datasets of 3D shapes, where primitive decompositions are either parsed from manual annotations or produced by an unsupervised cuboid abstraction method. In all domains, ShapeCoder discovers a library of abstractions that capture high-level relationships, remove extraneous degrees of freedom, and achieve better dataset compression compared with alternative approaches. Finally, we investigate how programs rewritten to use discovered abstractions prove useful for downstream tasks.

研究の動機と目的

• 形状の原始的で未構造化なプリミティブ分解から、意味的で再利用可能な抽象化関数を発見する課題に対処すること。
• 事前定義されたプログラム順序や階層的アノテーション、整理された例のシーケンスを必要とする従来の抽象化発見手法の制限を克服すること。
• 形状データセット全体にわたる構造的およびパラメトリックなパターンを捉える抽象化を学習することで、プログラムのコンパクト性と解釈可能性を向上させること。
• 統一的でエンドツーエンドの学習フレームワークを通じて、形状編集、生成、解析などの下流タスクにおける発見された抽象化の有効な利用を可能にすること。

提案手法

• DreamCoderにインspiredされた反復的「ドリーム・ウェイク・プロポーズ・統合」ループを採用し、ビジュアルプログラムのための段階的ライブラリ学習を可能にしている。
• 下位から上位への形状からプログラムへの認識ネットワークを用い、部分問題を解き、結合操作で解を統合することで、複雑または未構造化な入力に対しても推論が可能になっている。
• 複雑なパrametric式を扱えるように拡張された条件付きリライトルールを備えたeグラフを活用し、計算的に扱える範囲で抽象化を効率的に探索・適用している。
• 不要なノード展開を回避する条件付きリライトスキームを導入することで、eグラフの爆発的増大を防ぎ、計算制約下でもより洗練されたプログラム構造の探索が可能になっている。
• 真のプログラムや部品の階層構造、カリキュラムベースの学習データを必要とせず、プリミティブの集合そのものに直接処理を施している。
• プログラム長を最小化しつつ形状の忠実度を保持する圧縮に基づく目的関数を用いて、抽象化の発見をガイドしている。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしのプログラムや部品の階層構造が存在しない未構造化なプリミティブ分解から、直接的に意味的で再利用可能な抽象化関数を発見できるか？
• RQ2 eグラフはどのように条件付きリライトを拡張することで、ビジュアルプログラム合成における複雑なパラメトリック抽象化を効率的に探索できるか？
• RQ3 下位から上位に学習された神経認識ネットワークは、完全なプログラムが直接観測できない状況でも、プリミティブ入力から完全なビジュアルプログラムを推論できるか？
• RQ4 ShapeCoderの抽象化発見は、最先端の手法と比較して、プログラムの圧縮率、一般化性能、ノイズの多いプリミティブ入力へのロバストネスの観点でどの程度優れているか？

主な発見

• ShapeCoderは、追加の監視なしに、複雑な3次元形状データセットでさえも、ベースライン手法よりも顕著に優れたデータセット圧縮を達成する抽象化のライブラリを発見している。
• システムは、学習時に見られなかった形状に対しても一般化し、発見された抽象化を用いたコンパクトで解釈可能なプログラムを生成している。
• 特に入力仮定が緩い状況下でも、構造的およびパラメトリックに複雑なデータセットに対して、抽象化を発見する点で従来手法を上回っている。
• プリミティブ分解がノイズを含む、あるいは無教師な直方体抽象化手法によって生成された場合でも、システムの有効性が保たれており、入力品質の悪化に対してもロバストであることが示された。
• eグラフにおける条件付きリライトの使用により、指数的爆発が防止され、従来の手法よりも洗練されたプログラム構造の探索が可能になっている。
• eグラフの飽和の制限が存在する中でも、ShapeCoderは高レベルで意味的に意味のある抽象化を発見しており、ビジュアルプログラムにおける不必要な自由度を抑制している。