[論文レビュー] GraphTER: Unsupervised Learning of Graph Transformation Equivariant Representations via Auto-Encoding Node-wise Transformations

Xiang Gao, Wei Hu+1 more|arXiv (Cornell University)|Nov 19, 2019

3D Shape Modeling and Analysis参考文献 54被引用数 4

ひとこと要約

本稿では、ランダムに抽出されたノード群に等方的または非等方的変換を適用し、その変換を自己符号化することで、グラフ表現を教師なしで学習するGraphTERを提案する。この手法により、符号化された特徴から変換を再構築することで、局所的および大域的構造的不変性を捉え、3次元点群セグメンテーションタスクでSOTA性能（mIoU 81.9%）を達成し、従来の教師なし手法を著しく上回り、完全に教師ありの性能に近づいた。

ABSTRACT

Recent advances in Graph Convolutional Neural Networks (GCNNs) have shown their efficiency for non-Euclidean data on graphs, which often require a large amount of labeled data with high cost. It it thus critical to learn graph feature representations in an unsupervised manner in practice. To this end, we propose a novel unsupervised learning of Graph Transformation Equivariant Representations (GraphTER), aiming to capture intrinsic patterns of graph structure under both global and local transformations. Specifically, we allow to sample different groups of nodes from a graph and then transform them node-wise isotropically or anisotropically. Then, we self-train a representation encoder to capture the graph structures by reconstructing these node-wise transformations from the feature representations of the original and transformed graphs. In experiments, we apply the learned GraphTER to graphs of 3D point cloud data, and results on point cloud segmentation/classification show that GraphTER significantly outperforms state-of-the-art unsupervised approaches and pushes greatly closer towards the upper bound set by the fully supervised counterparts. The code is available at: https://github.com/gyshgx868/graph-ter.

研究の動機と目的

• 3次元点群のような不規則なデータにおける教師ありグラフ表現学習の高コストなラベル付けの問題に対処すること。
• ラベルデータを必要とせず、大域的および局所的構造的変換に対して不変なグラフ表現を学習すること。
• ノード単位の変換を再構築することで、学習された特徴に構造的認識を強制する自己教師付きフレームワークを構築すること。
• 下流のノードレベルタスク（セグメンテーションや分類など）に適応する教師なし事前学習を可能にすること。
• 教師なしと完全に教師ありのグラフ表現学習の性能差を、3次元幾何データにおいて縮小すること。

提案手法

• ノード群をグローバルまたはローカルにランダムにサンプリングし、各グループにノード単位の等方的または非等方的変換（例：平行移動、回転、ねじり変換）を適用する。
• エンコーダーネットワークは、元のグラフとその変換版の両方の特徴を統合的に学習し、局所構造を保持するためにスキップ接続付きのEdgeConvブロックを用いる。
• 変換デコーダーは、元のグラフと変換済みグラフの両方の符号化特徴から、適用されたノード単位の変換を再構築する。
• モデルは、各ノードグループに適用された変換を復元することを促進する対照的再構築損失を用いて、エンドツーエンドで訓練される。
• 元のグラフと変換済みグラフの両方の入力に対して共有エンコーダーを用い、変換再構築のための共有デコーダーヘッドを採用する。
• 訓練中、最初の4つのEdgeConvブロックは固定され、最終的な分類器は特徴の連結出力に対してノード単位で適用される。

実験結果

リサーチクエスチョン

• RQ1 ノード単位の変換を教師信号として明示的にモデル化することで、教師なしグラフ表現学習の性能を向上させられるか？
• RQ2 等方的変換と非等方的変換のどちらが、学習されたグラフ表現の質に与える影響が大きいのか？
• RQ3 変換適用のためのノードの局所的サンプリングは、グローバルなサンプリングに比べて、より優れた構造的認識をもたらすか？
• RQ4 ノード単位の変換に対する自己符号化フレームワークは、3次元点群における教師なしと完全に教師ありのグラフ学習の性能差をどの程度縮小できるか？
• RQ5 本手法で学習された変換不変性を持つ表現は、部品セグメンテーションや分類といった下流タスクに一般化可能か？

主な発見

• GraphTERは、ShapeNet部品セグメンテーションベンチマークでmIoU 81.9%を達成し、従来のSOTA教師なし手法MAP-VAEを13.9ポイントも上回った。
• DGCNN や RS-CNN といった完全に教師ありのSOTA手法と同等の性能を示し、教師なし事前学習が完全に教師ありの性能に近づけることを示した。
• ねじり変換（shearing）が最も高いmIoU（81.13%）を達成し、平行移動（79.90%）や回転（80.35%）を上回った。これは、複雑な変換が構造的学習を強化することを示している。
• 局所的サンプリングの方がグローバルなサンプリングよりも0.14%高い性能（80.53% vs. 80.39%）を示し、局所的構造的認識の重要性を強調した。
• 定性的な結果から、MAP-VAEに比べて、平面エンジンや椅子の脚といった細部にわたる部分のセグメンテーションがより正確であることが明らかになった。
• アブレーションスタディにより、本手法は異なる変換タイプやサンプリング戦略に対しても頑健であり、表現品質の向上が一貫して得られることを確認した。