[논문 리뷰] Factor Graph Neural Network

Zhen Zhang, Fan Wu외 1명|arXiv (Cornell University)|2019. 06. 03.

Advanced Graph Neural Networks참고 문헌 29인용 수 12

한 줄 요약

이 논문은 인과 그래프 신경망(FGNN)을 제안하며, 인과 그래프를 사용해 고차원 의존성을 모델링하는 새로운 딥러닝 아키텍처이다. 변수-요소 및 요소-변수 모듈을 통해 메시지 전파를 구조화함으로써 FGNN은 최대 제품 신뢰도 전파를 정확히 파arameter화하고, 3D 세분화 및 경쟁적인 결과를 내는 부분 세분화에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Most of the successful deep neural network architectures are structured, often consisting of elements like convolutional neural networks and gated recurrent neural networks. Recently, graph neural networks have been successfully applied to graph structured data such as point cloud and molecular data. These networks often only consider pairwise dependencies, as they operate on a graph structure. We generalize the graph neural network into a factor graph neural network (FGNN) in order to capture higher order dependencies. We show that FGNN is able to represent Max-Product Belief Propagation, an approximate inference algorithm on probabilistic graphical models; hence it is able to do well when Max-Product does well. Promising results on both synthetic and real datasets demonstrate the effectiveness of the proposed model.

연구 동기 및 목표

• 표준 그래프 신경망이 이원 관계를 초월한 고차원 의존성을 모델링하는 데에 한계가 있음을 해결하기 위해.
• 특히 최대 제품 신뢰도 전파를 포함한 확률적 그래픽 모델 추론을 학습 가능한 신경망 아키텍처에 통합하기 위해.
• 기존 추론 기법이 실패할 경우에도 데이터로부터 잠재 표현과 메시지 전파 규칙을 종단 간(end-to-end)으로 학습할 수 있도록 하기 위해.
• 구조적 제약 조건이 있는 합성 및 실제 3D 포인트 클라우드 데이터셋에서 FGNN의 효과성을 입증하기 위해.
• 인과 그래프 구조를 통해 그래프 신경망과 신뢰도 전파를 모두 일반화하는 통합 프레임워크를 제공하기 위해.

제안 방법

• 변수 노드와 요소 노드로 구성된 이분 그래프로 인과 그래프를 정의하며, 요소는 변수 간의 고차원 의존성을 나타낸다.
• 메시지 집계 및 전파를 위해 학습 가능한 매개변수를 가진 두 핵심 모듈인 변수-요소(VF) 및 요소-변수(FV)를 설계한다.
• VF 및 FV 모듈을 순차적으로 스택하여 FGNN 레이어를 구성함으로써 인과 그래프 전역에서 반복적 메시지 전파를 가능하게 한다.
• FGNN 아키텍처가 최대 제품 신뢰도 전파 알고리즘을 정확히 표현할 수 있음을 보여주며, 신뢰도 전파가 성공할 경우 최적의 성능을 보장한다.
• 3D 포인트 클라우드에 대해 k-최근접 이웃 기반의 요소 구성 방식을 구현하며, 각 요소는 한 점과 그 이웃을 포함하고, 간선 특징는 좌표 차이에서 유도된다.
• 학습은 Adam 옵timizer를 사용해 종단 간으로 수행되며, 학습률 감소를 적용하고, 잔차 연결 및 드롭아웃을 통해 정규화를 구현한다.

실험 결과

연구 질문

• RQ1 구조적 데이터에서 이원 상호작용을 초월한 고차원 의존성을 포착할 수 있는 신경망 아키텍처를 설계할 수 있는가?
• RQ2 신경망이 최대 제품 신뢰도 전파와 같은 근사 추론 알고리즘을 모방하거나 향상시킬 수 있는 정도는 어느 정도인가?
• RQ3 제안된 FGNN 아키텍처가 복잡한 구조적 제약 조건이 있는 작업에서 기존 GNN 및 포인트 클라우드 모델을 초월하는가?
• RQ4 제한된 애너테이션을 가진 실제 3D 포인트 클라우드 데이터셋에서 FGNN을 효율적으로 구현하고 확장할 수 있는가?
• RQ5 딥러닝 프레임워크에 확률적 그래픽 모델의 의미를 통합함으로써 일반화 능력과 인덕티브 바이어스가 어떻게 향상되는가?

주요 결과

• S3DIS 3D 세분화 벤치마크에서 FGNN은 평균 교차율(IoU) 60.0을 달성하여 PointNet, DGCNN, PointCNN을 모두 능가한다.
• ShapeNet 파트 데이터셋에서 FGNN은 평균 IoU 84.7을 기록하여 PointNet(83.7)과 DGCNN(85.1)을 능가하며, 대부분의 카테고리에서 PointCNN과 동일하거나 이를 초월한다.
• S3DIS에서 전체 정확도 85.5%를 달성하여 PointNet(53.2%)와 DGCNN(84.1%)를 크게 앞서며, 특히 높은 성능을 보였다.
• 파트 세분화에서 FGNN은 16개 카테고리 중 10개에서 가장 높은 IoU를 기록했으며, '기타' 카테고리에서 95.3%를 기록하여 PointCNN의 92.3%를 초월했다.
• 특수한 경우에 FGNN 프레임워크는 표준 메시지 전파 GNN으로 변환 가능하며, 기존 MPNN 프레임워크를 통해 효율적인 구현이 가능하다.
• 제거 실험 결과는 인과 그래프 구조와 메시지 전파 메커니즘이 제약 조건이 있는 합성 작업에서 복잡한 의존성을 포착하는 데 필수적임을 확인한다.