[論文レビュー] LightSAL: Lightweight Sign Agnostic Learning for Implicit Surface Representation

Abol Basher, Muhammad Sarmad+1 more|arXiv (Cornell University)|Mar 26, 2021

3D Shape Modeling and Analysis参考文献 55被引用数 5

ひとこと要約

LightSALは、生の点群からの符号に依存しない学習を用いて、暗黙的3D表面再構成のための軽量で効率的なエンコーダデコーダニューラルネットワークを提案する。ベースラインのSALモデルと同等の再構成品質を達成するが、パラメータ数を75%削減し、学習エポック数を75%削減する。また、モードコラプスの問題を回避する。

ABSTRACT

Recently, several works have addressed modeling of 3D shapes using deep neural networks to learn implicit surface representations. Up to now, the majority of works have concentrated on reconstruction quality, paying little or no attention to model size or training time. This work proposes LightSAL, a novel deep convolutional architecture for learning 3D shapes; the proposed work concentrates on efficiency both in network training time and resulting model size. We build on the recent concept of Sign Agnostic Learning for training the proposed network, relying on signed distance fields, with unsigned distance as ground truth. In the experimental section of the paper, we demonstrate that the proposed architecture outperforms previous work in model size and number of required training iterations, while achieving equivalent accuracy. Experiments are based on the D-Faust dataset that contains 41k 3D scans of human shapes. The proposed model has been implemented in PyTorch.

研究の動機と目的

• モデルサイズと学習時間の点で、既存の暗黙的3D形状学習手法の非効率性を解消すること。
• 事前処理された符号付き距離場を必要とせず、生の点群またはトライアングルスープから直接符号に依存しない学習を可能にすること。
• 計算コストとメモリコストを低減しながらも、高い再構成品質を維持するコンactなニューラルアーキテクチャの設計。
• 学習中にモードコラプスが発生せず、真値形状から逸脱する再構成を回避することの妥当性を示すこと。

提案手法

• エンコーダおよびデコーダの両方でカーネルサイズ1の1次元畳み込み層を用いた軽量なエンコーダデコーダアーキテクチャを提案し、全結合層を置き換えることでパラメータ数を削減する。
• 符号に依存しない学習を採用し、符号なし距離場を教師データとして用いることで、閉じた表面や事前計算された符号付き距離を必要としない。
• 順序に依存しない性質を保証するため、無順序な点群入力を処理する共有MLPを1×1カーネルの1次元畳み込み層で実装し、対称的プーリングを適用する。
• ネットワーク出力のゼロレベルセットとして暗黙的表面を定義し、生の3次元点群に対して再構成損失を用いて学習を行う。
• スパarsな点群からの局所的およびグローバルな幾何的特徴を捉えるために、エンコーダでマルチスケール特徴の集約戦略を採用する。
• GPUメモリ制限のためバッチサイズ16で学習を実行し、学習効率を高めるために再構成解像度を100に制限する。

実験結果

リサーチクエスチョン

• RQ1 符号に依存しない学習を用いて学習した場合、大幅に小型化されたニューラルネットワークが、フルサイズのSALモデルと同等の3次元形状再構成品質を達成できるか？
• RQ2 モデルサイズと学習エポック数を削減することで、再構成忠実度や一般化性能を損なわず、学習効率が向上するか？
• RQ3 1次元畳み込みに基づく共有MLPが、エンコーダおよびデコーダの全結合層を置き換えても性能を維持し、パラメータ数を削減できるか？
• RQ4 提案されたアーキテクチャは、学習中にモードコラプスが発生せず、真値形状から逸脱する再構成を回避できるか？
• RQ5 過学習を避け、未学習の人体形状やポーズに対しても良好な一般化性能を示せるか？

主な発見

• LightSALは、ベースラインのSALモデルと比較して、トレーニング可能なパラメータ数を75%削減し、1.05Mパラメータ（SALは4.2M）を達成した。
• 同等の再構成品質に到達するには、ベースラインのSALモデルが2000エポックを要するのに対し、LightSALは500エポックで十分である。
• パラメータ数の削減と効率的な1次元畳み込み層のおかげで、1エポックあたり40%高速に学習が可能となった。
• 実験的に、学習中にモードコラプスが観測されず、ベースラインのSALモデルとは異なり、入力データと整合しない形状の再構成が発生しなかった。
• D-Faustデータセットにおいて、LightSALは、能力が制限された状態でも、未学習の人体形状やポーズに対して、ベースラインを上回る再構成品質を示した。
• 実証的結果から、1×1カーネルの1次元畳み込みは、より大きなカーネルと同等の性能を発揮するが、パラメータ数を顕著に削減できることを確認し、アーキテクチャ選定の妥当性を裏付けた。