[論文レビュー] MeshWalker: Deep Mesh Understanding by Random Walks

Alon Lahav, Ayellet Tal|arXiv (Cornell University)|Jun 9, 2020

3D Shape Modeling and Analysis参考文献 108被引用数 7

ひとこと要約

MeshWalkerは、3次元三角メッシュをその表面におけるランダムウォークとして表現し、これらのシーケンスを再帰ニューラルネットワーク（RNN）に供給することで、幾何学的およびトポロジカル構造を学習する、画期的なディーブラーニングフレームワークを提案する。この手法は、非常に小さなデータセットでさえも、事前処理を要せず、非ウォータープルーフまたはマルチコンポーネントメッシュを扱える点を除き、メッシュ分類およびセマンティックセグメンテーションにおいて最先端の性能を達成する。

ABSTRACT

Most attempts to represent 3D shapes for deep learning have focused on volumetric grids, multi-view images and point clouds. In this paper we look at the most popular representation of 3D shapes in computer graphics - a triangular mesh - and ask how it can be utilized within deep learning. The few attempts to answer this question propose to adapt convolutions & pooling to suit Convolutional Neural Networks (CNNs). This paper proposes a very different approach, termed MeshWalker, to learn the shape directly from a given mesh. The key idea is to represent the mesh by random walks along the surface, which "explore" the mesh's geometry and topology. Each walk is organized as a list of vertices, which in some manner imposes regularity on the mesh. The walk is fed into a Recurrent Neural Network (RNN) that "remembers" the history of the walk. We show that our approach achieves state-of-the-art results for two fundamental shape analysis tasks: shape classification and semantic segmentation. Furthermore, even a very small number of examples suffices for learning. This is highly important, since large datasets of meshes are difficult to acquire.

研究の動機と目的

• 標準の畳み込みニューラルネットワーク（CNN）では難しいため、不規則な3次元メッシュデータに直接ディーブラーニングを適用する課題に対処すること。
• RNNに適したシーケンス形式で、局所的幾何構造とグローバルトポロジーの両方を捉えるメッシュ表現を開発すること。
• 3次元形状解析において、大規模なメッシュデータセットの収集が困難であるため、一般的に見られる小さなデータセットからの有効な学習を可能にすること。
• ウォータープルーフでないか、または複数のコンポーネントを含む任意の三角メッシュに対して動作する汎用フレームワークを構築すること。
• コアな形状解析タスク、すなわち分類およびセマンティックセグメンテーションにおける手法の有効性を実証すること。

提案手法

• メッシュは、その頂点上でのランダムウォークによって表現され、各ウォークは表面の幾何学的およびトポロジカル構造を探索する頂点のシーケンスである。
• 各ランダムウォークは、履歴の記憶を維持することで階層的表現を学習する、ゲート付き再帰ユニット（GRU）のスタックによって処理される。
• RNNの出力はプーリングされ、全結合層を経て分類またはセグメンテーションに渡され、バックプロパゲーションによるエンドツーエンドの学習が行われる。
• ウォークは、ランダムに選ばれた頂点から開始し、その隣接頂点群から均等に次の頂点を選んで生成される。これにより、メッシュ表面の探索が保証される。
• セマンティックセグメンテーションのため、各メッシュからウォークがサンプリングされ、最終的なRNN出力にセグメンテーションヘッドを適用して各頂点のラベルを予測する。
• 大規模なメッシュの学習のため、事前にメッシュ簡略化が施され、計算コストが削減される。評価の際には、結果が元のメッシュに再投影される。

実験結果

リサーチクエスチョン

• RQ1 3次元メッシュ上のランダムウォークは、RNNが形状構造を学習できるような、有効なシーケンスベースの表現として機能するか？
• RQ2 MeshWalkerフレームワークは、特に小さなデータセットにおいて、3次元メッシュ分類およびセマンティックセグメンテーションで最先端の性能を達成するか？
• RQ3 トポロジカル制約を要せず、ウォータープルーフでないか、または分離したコンポーネントを含むメッシュに対しても一般化可能か？
• RQ4 学習データが限られた場合、CNNベースのメッシュ手法と比較してMeshWalkerの性能はどのように異なるか？
• RQ5 シーケンス長のロバストネスおよび複数のウォークによるデータオーグメンテーションの利点により、RNNがメッシュデータに対してCNNよりも本質的に優位であるか？

主な発見

• MeshWalkerは、SHREC11、COSEG、ModelNet40の3次元メッシュ分類タスクにおいて、最小限の学習データでさえも最先端の性能を達成し、先行手法を上回っている。
• ヒューマンボディセグメンテーションデータセットでは、メッシュWalkerは平均交差率（mIoU）0.81を達成し、以前の最先端手法を上回っている。
• 顕著な特徴が疎であるエングレーブドキューブデータセットでは、分類精度が98.5%に達し、低信号形状に対してもロバストであることが示された。
• クラスあたり4つのメッシュのみで学習した場合、ModelNet40では85.6%の精度を達成し、低データ環境下でのベースライン手法を著しく上回っている。
• ウォータープルーフでない、またはマルチコンポーネントのメッシュに対しても、MeshWalkerは良好に一般化する。これは、ウォータープルーフでない形状を含むModelNet40データセットで実証された。
• 失敗事例は、特定の部位（例：髪）の訓練例が十分にない場合に発生する。これは、データ依存性が顕著に現れていることを示している。