[논문 리뷰] GraphTER: Unsupervised Learning of Graph Transformation Equivariant Representations via Auto-Encoding Node-wise Transformations

Xiang Gao, Wei Hu외 1명|arXiv (Cornell University)|2019. 11. 19.

3D Shape Modeling and Analysis참고 문헌 54인용 수 4

한 줄 요약

이 논문은 3D 포인트 클라우드 분할에서 최고 성능을 기록하며, 무 supervision 방식으로 노드 단위 변환을 자동 인코딩함으로써 그래프 표현을 학습하는 GraphTER를 제안한다. 무작위로 샘플된 노드 그룹에 등방성 또는 비등방성 변환을 적용하고, 인코딩된 특징에서 이러한 변환을 복원함으로써 국소적이고 전역적인 구조적 불변성을 포착한다. 이로 인해 기존 무 supervision 방법보다 유의하게 뛰어난 성능(81.9% mIoU)을 달성하며, 완전 supervision 성능에 가까워진다.

ABSTRACT

Recent advances in Graph Convolutional Neural Networks (GCNNs) have shown their efficiency for non-Euclidean data on graphs, which often require a large amount of labeled data with high cost. It it thus critical to learn graph feature representations in an unsupervised manner in practice. To this end, we propose a novel unsupervised learning of Graph Transformation Equivariant Representations (GraphTER), aiming to capture intrinsic patterns of graph structure under both global and local transformations. Specifically, we allow to sample different groups of nodes from a graph and then transform them node-wise isotropically or anisotropically. Then, we self-train a representation encoder to capture the graph structures by reconstructing these node-wise transformations from the feature representations of the original and transformed graphs. In experiments, we apply the learned GraphTER to graphs of 3D point cloud data, and results on point cloud segmentation/classification show that GraphTER significantly outperforms state-of-the-art unsupervised approaches and pushes greatly closer towards the upper bound set by the fully supervised counterparts. The code is available at: https://github.com/gyshgx868/graph-ter.

연구 동기 및 목표

• 3D 포인트 클라우드와 같은 비정형 데이터에서 supervision 그래프 표현 학습의 높은 레이블링 비용 문제를 해결하기 위해.
• 라벨이 없는 데이터를 요구하지 않고도 전역 및 국소적 구조적 변환에 대해 불변인 그래프 표현을 학습하기 위해.
• 노드 단위 변환을 복원함으로써 학습된 특징에 구조적 인식 능력을 강제하기 위한 자기지도 학습 프레임워크를 개발하기 위해.
• 세분화 및 분류와 같은 노드 수준의 후속 작업에 잘 일반화되는 무 supervision 사전 훈련을 가능하게 하기 위해.
• 무 supervision과 완전 supervision 그래프 표현 학습 간의 성능 격차를 3D 기하 데이터에서 줄이기 위해.

제안 방법

• 모델은 전역 또는 국소적으로 무작위로 노드 그룹을 샘플링하고, 각 그룹에 노드 단위 등방성 또는 비등방성 변환(예: 이동, 회전, 비틀림)을 적용한다.
• 에코더 네트워크는 원본 그래프와 그 변환된 버전의 공동 표현을 학습하며, 국소 구조를 유지하기 위해 스키프 커넥션을 갖는 EdgeConv 블록을 사용한다.
• 변환 디코더는 원본 및 변환된 그래프의 인코딩된 특징에서 적용된 노드 단위 변환을 복원한다.
• 모델은 각 노드 그룹에 적용된 변환을 복원하도록 유도하는 대비 복원 손실을 통해 엔드 투 엔드로 훈련된다.
• 원본 및 변환된 그래프 모두에 공유 에코더를 사용하고, 변환 복원을 위한 공유 디코더 헤드를 사용한다.
• 훈련 중에는 첫 네 개의 EdgeConv 블록을 고정하여 구조적 특징 학습을 유지하고, 최종 분류기는 연결된 특징에 대해 노드 단위로 적용된다.

실험 결과

연구 질문

• RQ1 노드 단위 변환을 감독 신호로 명시적으로 모델링함으로써 무 supervision 그래프 표현 학습을 향상시킬 수 있는가?
• RQ2 등방성 대비 비등방성 노드 단위 변환이 학습된 그래프 표현의 품질에 어떤 영향을 미치는가?
• RQ3 전역 샘플링 대비 국소적 노드 샘플링이 변환 적용에 더 높은 구조적 인식 능력을 제공하는가?
• RQ4 노드 단위 변환에 대한 자동 인코딩 프레임워크가 3D 포인트 클라우드에서 무 supervision과 완전 supervision 학습 간의 성능 격차를 어느 정도 줄일 수 있는가?
• RQ5 이 방법을 통해 학습된 변환 동일성 표현은 파트 분할 및 분류와 같은 후속 작업으로 일반화될 수 있는가?

주요 결과

• GraphTER는 ShapeNet 파트 분할 벤치마크에서 평균 교차율(mIoU) 81.9%를 기록하여, 이전 최고 성능의 무 supervision 방법인 MAP-VAE보다 13.9%포인트 높게 성능을 냈다.
• 모델는 DGCNN 및 RS-CNN와 같은 완전 supervision 최고 성능 방법들과 유사한 성능을 보이며, 무 supervision 사전 훈련이 완전 supervision 성능에 도달할 수 있음을 시사한다.
• 비틀림 변환은 평균적으로 가장 높은 mIoU(81.13%)를 기록했으며, 이는 이동(79.90%)과 회전(80.35%)을 모두 초월함을 의미한다. 이는 복잡한 변환이 구조 학습을 향상시킨다는 것을 시사한다.
• 국소적 노드 샘플링이 전역적 샘플링보다 성능을 0.14% 향상시켰다(80.53% 대 80.39%), 이는 국소적 구조적 인식의 중요성을 강조한다.
• 정성적 결과에서는 GraphTER가 MAP-VAE에 비해 세밀한 부분(예: 평면 엔진, 의자 다리)의 분할 정확도가 더 높은 것으로 나타났다.
• 절단 실험 결과, 제안된 방법은 다양한 변환 유형과 샘플링 전략에 대해 강건하며 표현 품질 향상이 일관되게 관찰됨을 확인했다.