[論文レビュー] Deep Mesh Prior: Unsupervised Mesh Restoration using Graph Convolutional Networks

Shota Hattori, Tatsuya Yatagawa+2 more|arXiv (Cornell University)|Jul 2, 2021

3D Shape Modeling and Analysis参考文献 53被引用数 7

ひとこと要約

本稿では、グラフ畳み込みネットワーク（GCNs）を用いて、事前学習や大規模データセットを必要とせずに、単一の入力メッシュから自己類似性を直接学習する非教師ありメッシュ修復手法であるDeep Mesh Prior（DMP）を提案する。GCNを滑らかにした入力メッシュからの頂点のずれを予測するように訓練することで、ノイズ除去およびメッシュ補完において最先端の性能を達成し、大規模な学習データに依存する手法を上回る。

ABSTRACT

This paper addresses mesh restoration problems, i.e., denoising and completion, by learning self-similarity in an unsupervised manner. For this purpose, the proposed method, which we refer to as Deep Mesh Prior, uses a graph convolutional network on meshes to learn the self-similarity. The network takes a single incomplete mesh as input data and directly outputs the reconstructed mesh without being trained using large-scale datasets. Our method does not use any intermediate representations such as an implicit field because the whole process works on a mesh. We demonstrate that our unsupervised method performs equally well or even better than the state-of-the-art methods using large-scale datasets.

研究の動機と目的

• 大規模なアノテート済みデータセットに依存せずに、ノイズ除去およびメッシュ補完というメッシュ修復の課題に対処すること。
• 形状データセット上で広範な事前学習を必要とする従来のディープラーニング手法の限界を克服し、未学習の形状に対しても一般化できるようにすること。
• 重み共有を用いたGCNを用いて、単一の入力メッシュから直接形状の事前知識を習得する非教師ありフレームワークを開発すること。
• 中間表現（例えば、暗黙のフィールドやボクセルグリッドなど）を避けることで、メッシュ構造をその過程で保持すること。
• GCNを用いて単一のメッシュから学習した自己類似性が、大規模データセットで訓練された教師あり手法と同等またはそれを上回る性能を達成できることを示すこと。

提案手法

• グラフ畳み込みネットワーク（GCNs）を用いて三角メッシュに適応した、Deep Image Prior（DIP）に基づく非教師ありメッシュ修復フレームワークを提案する。
• 絶対的な頂点位置ではなく、頂点のずれベクトルを予測するようにGCNを訓練することで、収束性と再構成品質を向上させる。
• 入力メッシュをラプラシアン平滑化して、元の綺麗なまたは完全なメッシュに再構成するためのベース形状を生成し、GCNがその差分（ずれ）を学習する。
• 層間で重みを共有する1つのニューラルネットワークを用いて、メッシュ表面全体および複数の解像度におけるグローバルな自己類似性を捉える。
• ラプラシアン損失などの追加正則化を避けて、予測メッシュと真値との間の再構成損失（MAD）のみを最適化する。
• 入力と出力が両方ともメッシュであるエンドツーエンドのメッシュ・ツー・メッシュ処理を保証し、ポイントクラウドや暗黙のフィールドなどの中間表現の必要性を排除する。

実験結果

リサーチクエスチョン

• RQ1 大規模データセットを必要とせずに、単一のメッシュからの自己類似性が非教師ありディープラーニングで効果的に学習可能か？
• RQ2 GCNベースのフレームワークにおいて、絶対的な位置ではなく頂点のずれを予測することで、メッシュ修復性能が向上するか？
• RQ3 初期メッシュの平滑化方法の選択（例：ラプラシアン、球面マッピング、または平滑化なし）が収束性および最終的な再構成品質に与える影響は？
• RQ4 非教師ありGCNベースの手法が、大規模な学習データに依存する教師あり最先端手法と同等またはそれ以上の性能を達成できるか？
• RQ5 提案されたメッシュ・ツー・メッシュ、エンドツーエンドのフレームワークは、ノイズ除去および補完といった汎用的なメッシュ修復タスクに実用的か？

主な発見

• 提案手法であるDeep Mesh Prior（DMP）は、大規模な学習データセットに依存する最先端の教師あり手法と同等またはそれ以上の再構成性能を達成した。
• 絶対的な位置ではなく頂点のずれを予測することで、特に学習後期において顕著に低いMADスコアが得られ、構造的な幾何学の学習が優れていることが示された。
• 入力メッシュに対してラプラシアン平滑化を施すことで、収束速度と再構成精度のバランスが最も良く、平滑化なしや球面マッピングよりも優れた性能を示した。
• 入力メッシュに平滑化を施さない場合、GCNは速やかにゼロのずれを出力するようになり、MADスコアはノイズのある入力とほとんど同一になることが確認され、平滑化が有効な学習のためには不可欠であることが示された。
• Bimbaモデルでは、ラプラシアン平滑化を施した場合、4,000ステップでMADスコアが6.91から10,000ステップで5.82に改善された。これは、適切な平滑化により収束は遅いが、より正確であることを示している。
• 事前学習や外部の形状事前知識を一切必要とせず、単一の入力メッシュのみで、ノイズ除去および補完の両方のメッシュを効果的に修復できた。