[論文レビュー] Compositionally Generalizable 3D Structure Prediction

Songfang Han, Jiayuan Gu+5 more|arXiv (Cornell University)|Dec 4, 2020

3D Shape Modeling and Analysis参考文献 55被引用数 7

ひとこと要約

本稿では、1枚の画像からの3次元形状再構成のための構成的汎化性フレームワークを提案する。このフレームワークは、モジュラーなニューラルネットワークを用いて、部品セグメンテーション、方向予測、サイズ予測、相対的位置関係の推定というサブ問題にタスクを分解する。オブジェクトカテゴリを跨いで共通する部分構造（部品、対称性、接合部など）をモデル化することで、床、テーブル、キャビネットなど、未学習のカテゴリに対しても優れた汎化性能を達成し、PartNetにおける最新の性能を上回る。GenRe [62]と比較して、定量的・定性的な両面で優れている。

ABSTRACT

Single-image 3D shape reconstruction is an important and long-standing problem in computer vision. A plethora of existing works is constantly pushing the state-of-the-art performance in the deep learning era. However, there remains a much more difficult and under-explored issue on how to generalize the learned skills over unseen object categories that have very different shape geometry distributions. In this paper, we bring in the concept of compositional generalizability and propose a novel framework that could better generalize to these unseen categories. We factorize the 3D shape reconstruction problem into proper sub-problems, each of which is tackled by a carefully designed neural sub-module with generalizability concerns. The intuition behind our formulation is that object parts (slates and cylindrical parts), their relationships (adjacency and translation symmetry), and shape substructures (T-junctions and a symmetric group of parts) are mostly shared across object categories, even though object geometries may look very different (e.g. chairs and cabinets). Experiments on PartNet show that we achieve superior performance than state-of-the-art. This validates our problem factorization and network designs.

研究の動機と目的

• 極めて異なる幾何分布を示す未学習のオブジェクトカテゴリへの3次元形状再構成の汎化を課題とする。
• 従来の方法が訓練とテストのカテゴリが類似していると仮定するのに対し、より広いカテゴリ間での汎化を向上させる。
• 多様なオブジェクトカテゴリに跨る共通するサブ構造の事前知識（部品タイプ、対称性、接合部など）を活用し、汎化性を向上させる。
• 局所的文脈学習が可能な解釈可能で転送可能なサブ問題に分解されたモジュラーなニューラルフレームワークを設計する。

提案手法

• 3次元形状再構成を4つのサブ問題に分解：部品セグメンテーション、部品の方向予測、グループベースのサイズ予測、相対的位置関係の組み立て。
• 部品を方向付きボクセルボックスで表現し、接続性、方向性、サイズを構造的事前知識として符号化。
• 回転の不確実性と対称性に対処するため、順序に依存しないMixture-of-Experts（MoE）ネットワークを方向予測に適用。
• 部品間の並進対称性を活用して、視覚歪みに強い性能を向上させるため、グループ単位の特徴集約を実装。
• 絶対座標ではなく、部品間の相対的位置関係を予測することで、スケールや平行移動に敏感になるのを低減。
• 局所的構造の特徴学習時に注目を向けるために、部品マスクを明示的なアテンションマップとして使用。

実験結果

リサーチクエスチョン

• RQ1 全く新しいオブジェクトカテゴリ（グローバルな幾何が著しく異なる）に対し、3次元形状再構成が効果的に汎化可能か？
• RQ2 部品タイプ、対称性、接合部といった共有サブ構造の事前知識は、エンドツーエンドの3次元予測よりも優れたカテゴリ間汎化を可能にするか？
• RQ3 再構成タスクをサブ問題にモジュラーに分解することは、直接的な3次元形状または深度マップ予測よりも汎化性に優れるか？
• RQ4 グループベースのサイズ予測は、視覚歪みや限られた監視信号に対してどのように耐性を高めるか？
• RQ5 相対的位置関係予測は、絶対位置関係予測よりも汎化性と正確性において優れているか？

主な発見

• 提案手法は、チェアで0.032、テーブルで0.053、キャビネットで0.053、ベッドで0.041の平均チェンバーディスタンス（EMD）を達成。GenRe [62]がそれぞれ0.056、0.099、0.081、0.075を報告しているのと比較し、顕著に優れている。
• 方向予測のためのMoE-MinN-MSE損失により、平均ジオデシック誤差がチェアで7.11°、テーブルで10.31°、キャビネットで3.42°、ベッドで6.43°に低下し、MSEや事前知識ベースのベースラインを上回った。
• グループベースのサイズ予測により、ユニタリサイズ予測と比較して、チェアで0.004、テーブルで0.019、キャビネットで0.008、ベッドで0.006のL1距離が低減した。
• 相対位置予測は、チェアで0.023、テーブルで0.038、キャビネットで0.045、ベッドで0.042のL1距離を達成。絶対位置予測（0.035、0.080、0.082、0.067）を上回った。
• Pix3Dやインターネットからの実世界画像における定性的な結果は、合成データでのみ学習されたにもかかわらず、頑健な再構成を示しており、実世界入力への汎化を確認した。
• GenRe [62]との可視的比較から、GenReの結果は入力ビューからは妥当に見えるが、他の視点からは3次元再構成の正確性に欠けることが判明。本手法の構造的忠実性の優位性を裏付けた。