[論文レビュー] Convolutional Neural Networks on non-uniform geometrical signals using Euclidean spectral transformation

Chiyu Max Jiang, Dequan Wang+3 more|arXiv (Cornell University)|Jan 7, 2019

3D Shape Modeling and Analysis参考文献 51被引用数 8

ひとこと要約

本論文では、非一様フーリエ変換（NUFT）を用いた新規なスペクトル表現を提案し、畳み込みニューラルネットワーク（CNN）が、点群、メッシュ、重み付き表面などの非一様幾何的信号を、ユークリッドスペクトル領域で直接処理可能にする。空間アリゼーションを引き起こさない均一なスペクトルグリッドへの信号の解析的サンプリングにより、最大限の形状情報を保持し、標準的なCNNバックボーンの利用を可能にするとともに、3D形状検索および点群から表面への再構成において最先端の性能を達成する。

ABSTRACT

Convolutional Neural Networks (CNN) have been successful in processing data signals that are uniformly sampled in the spatial domain (e.g., images). However, most data signals do not natively exist on a grid, and in the process of being sampled onto a uniform physical grid suffer significant aliasing error and information loss. Moreover, signals can exist in different topological structures as, for example, points, lines, surfaces and volumes. It has been challenging to analyze signals with mixed topologies (for example, point cloud with surface mesh). To this end, we develop mathematical formulations for Non-Uniform Fourier Transforms (NUFT) to directly, and optimally, sample nonuniform data signals of different topologies defined on a simplex mesh into the spectral domain with no spatial sampling error. The spectral transform is performed in the Euclidean space, which removes the translation ambiguity from works on the graph spectrum. Our representation has four distinct advantages: (1) the process causes no spatial sampling error during the initial sampling, (2) the generality of this approach provides a unified framework for using CNNs to analyze signals of mixed topologies, (3) it allows us to leverage state-of-the-art backbone CNN architectures for effective learning without having to design a particular architecture for a particular data structure in an ad-hoc fashion, and (4) the representation allows weighted meshes where each element has a different weight (i.e., texture) indicating local properties. We achieve results on par with the state-of-the-art for the 3D shape retrieval task, and a new state-of-the-art for the point cloud to surface reconstruction task.

研究の動機と目的

• 点群やメッシュなどの非一様で混合トポロジーを持つ幾何的信号にCNNを適用する課題に対処すること。
• ボクセル、マルチビュー、SDFベースの手法における均一サンプリングに起因する表現誤差（アリゼーションや情報損失を伴う）を克服すること。
• ユークリッド空間におけるスペクトル変換を用いて、点、線、表面、体積といった異なるトポロジーの信号処理を統合する一般的なフレームワークを構築すること。
• 任意の幾何的信号に対して、アーキテクチャの再設計なしに強力で事前学習済みのデカルトCNNバックボーン（例：ResNet、DLA）を直接使用可能にすること。
• 各要素にテクスチャやスカラー属性を搭載できる重み付きメッシュをサポートし、より豊かな信号表現を可能にすること。

提案手法

• 単体メッシュ（例：三角形または四面体メッシュ）上に定義された信号に対して、空間サンプリング誤差を生じさせない正確なスペクトルサンプリングを可能にする非一様フーリエ変換（NUFT）を定式化する。
• ユークリッド空間におけるスペクトル変換を実行し、グラフスペクトル手法に内在する翻訳のあいまいさを回避するとともに、標準的なCNNの直接利用を可能にする。
• 非一様メッシュ上の信号のフーリエ変換を解析的積分により計算することで、精度を確保し、グリッドベースのサンプリングに起因するアリゼーションを排除する。
• 入力信号（例：点群）および出力信号（例：表面）を、$128^3$ スペクトルグリッド上のNUFT表現として表現し、3D画像間変換を可能にする。
• U-Netなどの標準的なCNNアーキテクチャを用いてエンドツーエンド学習を実施し、予測値と真値のNUFT表面表現の間で$L_2$損失を最小化する。
• 表面再構成の品質向上のため、マーチング・キューブスとメッシュ収縮処理を後処理として適用する。

実験結果

リサーチクエスチョン

• RQ1 CNNが非一様幾何的信号を処理可能にするスペクトル表現を開発できるか。特に、空間サンプリング誤差を導入しないか。
• RQ2 1つのスペクトル変換を用いて、点、表面、体積などの混合トポロジーの信号を統合的に処理できるフレームワークをどのように設計できるか。
• RQ3 新規なスペクトル表現を介して、標準的で事前学習済みのCNNバックボーンを3D幾何的ディープラーニングにどれほど効果的に再利用できるか。
• RQ4 本手法は、特にノイズが混入した入力条件下でも、点群から表面への再構成という困難なタスクで優れた性能を達成できるか。
• RQ5 従来のボクセル、SDF、マルチビュー表現と比較して、NUFTベースの表現は情報保持性および再構成精度の点でどの程度優れているか。

主な発見

• NUFT表現は、事前学習を行わないモデルの中で3D形状検索において最先端の性能を達成し、ShapeNetCoreデータセット上で既存手法を上回った。
• 点群から表面への再構成において、ノイズあり時でチェンファーディスタンス0.144、ノイズなし時で0.145を達成し、Deep Marching Cubes（0.218）およびポisson表面再構成（0.198–0.352）を上回った。
• 再構成の正確性（accuracy）が0.125、完全性（completeness）が0.165を記録し、PSR-8（0.196および0.200）およびDMC（0.182および0.254）を顕著に上回った。
• 制御されたアブレーションスタディにより、バイナリボクセルおよびSDF表現よりもNUFT表現がより多くの形状情報を保持していることが実証された。
• 入力ノイズに対して高いロバストネスを示し、32解像度でガウスノイズ（σ = 0.15ボクセル長）が加わっても、高い再構成品質を維持した。
• 標準的なU-Netと$L_2$損失を用いたフレームワークにより、3D画像間変換が効果的に実現され、2Dスタイルのディープラーニング手法を3D幾何的信号に適用可能であることを示した。