[論文レビュー] Higher-Order Function Networks for Learning Composable 3D Object Representations

Eric Mitchell, Selim Engin+2 more|arXiv (Cornell University)|Apr 30, 2020

3D Shape Modeling and Analysis参考文献 33被引用数 4

ひとこと要約

本稿では、3次元オブジェクトの幾何構造を二次的なマッピングネットワークの重みに直接符号化する、新しい3次元オブジェクト表現であるハイヤーオーダー関数ネットワーク（HOFN）を提案する。単位球面上から点をサンプリングし、学習された変換を適用することで、わずか約7,000パラメータで高精度な再構成が可能となり、パラメータ数を桁違いに削減しながら、最先端の手法と同等またはそれを上回る精度を達成する。

ABSTRACT

We present a new approach to 3D object representation where the geometry of an object is encoded directly into the weights and biases of a second 'mapping' network. This mapping network can be used to reconstruct an object by applying its encoded transformation to points randomly sampled from a simple geometric space, such as the unit sphere. Next, we extend this concept to enable the composition of multiple mapping functions. This capability provides a method for mixing features of different objects through function composition in a latent function space. Our experiments examine the effectiveness of our method on a subset of the ShapeNet dataset. We find that this representation can reconstruct objects with accuracy equal to or exceeding state-of-the-art methods with orders of magnitude fewer parameters. Our smallest reconstruction network has only about 7000 parameters and shows reconstruction quality on par with state-of-the-art object representation architectures with millions of parameters.

研究の動機と目的

• ニューラルネットワークの重みに幾何構造を直接符号化する、パラメータ効率の高い3次元オブジェクト表現の開発。
• 潜在関数空間における関数合成を通じて、3次元オブジェクト特徴の合成可能性を実現すること。
• 著しく少ないパラメータで、最先端のアーキテクチャと同等の再構成精度を達成すること。
• 単純な幾何的空間（例：単位球面）からの点のサンプリングによって、オブジェクト表現を学習する可能性を示すこと。

提案手法

• 幾何構造は、点を単位球面上からサンプリングする二次的な「マッピング」ネットワークの重みおよびバイアスに符号化される。
• オブジェクトの再構成は、単位球面上のランダムな点に学習済みのマッピング関数を適用することで達成される。
• 複数のマッピングネットワークをスタックすることで、潜在関数空間における関数合成が可能となり、異なるオブジェクト間の特徴の混合が可能になる。
• 最小のモデルサイズを実現するため、わずか約7,000パラメータの単一で軽量なネットワークを採用する。
• エンドツーエンドで動作し、ShapeNetデータ上で再構成損失を最小化するようにマッピングネットワークを訓練する。
• ネットワークの関数的性質を活用することで、メッシュやボクセルの監視を明示的に行わず、複雑な3次元形状を表現する。

実験結果

リサーチクエスチョン

• RQ1 3次元オブジェクトの幾何構造を、ニューラルネットワークのマッピング関数の重みに直接効果的に符号化できるか？
• RQ2 潜在関数空間における関数合成により、異なる3次元オブジェクトの特徴を意味的に混合できるか？
• RQ3 極めてパラメータ効率の高いネットワークが、最先端のアーキテクチャと同等の再構成品質を達成できるか？
• RQ4 単位球面のような単純な幾何的空間からの点のサンプリングが、効果的かつ一般化可能な3次元再構成を可能にするか？

主な発見

• 提案手法は、ShapeNetのサブセットにおいて、最先端の手法と同等またはそれを上回る再構成精度を達成した。
• 最小のHOFNモデルはわずか約7,000パラメータで、数百万のパラメータを持つ最先端のアーキテクチャと比較して著しく少ない。
• 非常に小さなサイズにもかかわらず、7,000パラメータのモデルは、はるかに大きなモデルと同等の再構成品質を生成した。
• 潜在関数空間における関数合成により、変換のスタックを通じて、異なるオブジェクトからの特徴の混合が可能になった。
• 本手法は、最小限のパラメータ化で高精度な再構成を実現し、優れた一般化性能と効率性を示した。