[논문 리뷰] Learning Graph-Structured Sum-Product Networks for Probabilistic Semantic Maps

Kaiyu Zheng, Andrzej Pronobis외 1명|arXiv (Cornell University)|2017. 09. 24.

Advanced Graph Neural Networks인용 수 12

한 줄 요약

이 논문은 다양한 크기와 노이즈 있는 의존성을 가진 복잡하고 동적인 그래프 구조 데이터를 모델링할 수 있는 확률적 딥러닝 프레임워크인 그래프 구조형 합- tích-생산 네트워크(Graph-Structured Sum-Product Networks, GraphSPNs)를 제안한다. 하위 그래프에 대한 템플릿 SPN 분포를 학습하고 추론을 위해 혼합 모델을 구성함으로써, GraphSPNs는 대규모 로봇 의미 맵에서 노이즈 있는 위상적 관계로부터 의미적 장소 속성을 해석하는 데 있어 전통적인 마르코프 무작위 필드(Markov Random Fields, MRFs)를 능가하며, 높은 노이즈 수준에서도 최대 67.58%의 정확도를 달성한다.

ABSTRACT

We introduce Graph-Structured Sum-Product Networks (GraphSPNs), a probabilistic approach to structured prediction for problems where dependencies between latent variables are expressed in terms of arbitrary, dynamic graphs. While many approaches to structured prediction place strict constraints on the interactions between inferred variables, many real-world problems can be only characterized using complex graph structures of varying size, often contaminated with noise when obtained from real data. Here, we focus on one such problem in the domain of robotics. We demonstrate how GraphSPNs can be used to bolster inference about semantic, conceptual place descriptions using noisy topological relations discovered by a robot exploring large-scale office spaces. Through experiments, we show that GraphSPNs consistently outperform the traditional approach based on undirected graphical models, successfully disambiguating information in global semantic maps built from uncertain, noisy local evidence. We further exploit the probabilistic nature of the model to infer marginal distributions over semantic descriptions of as yet unexplored places and detect spatial environment configurations that are novel and incongruent with the known evidence.

연구 동기 및 목표

• 장소 간 위상적 관계가 노이즈가 많고 동적인 복잡한 구조 예측 문제를 해결하기 위해.
• 고정된 구조적 제약 없이 임의의 그래프 크기와 복잡한 의존성을 다룰 수 있는 확장성 있고 추론이 가능한 확률 모델을 개발하기 위해.
• 불확실한 국소적 증거에서 유도된 마진 분포를 활용해 탐색하지 않은 장소의 의미 속성에 대해 강건한 추론을 가능하게 하기 위해.
• 확률 모델의 가능도 점수를 사용해 의미 맵 내에서 새로운 또는 부적합한 공간 구성을 탐지하기 위해.
• 향후 그래프 구조 모델링 연구를 위한 다양한 불확실성과 노이즈 수준을 가진 상위 그래프 데이터셋을 제공하기 위해.

제안 방법

• GraphSPNs는 임의의 복잡도를 가진 하위 그래프의 속성에 대한 분포를 나타내는 템플릿 SPN 모델을 학습한다.
• 주어진 입력 그래프에 대해, GraphSPNs는 그래프를 여러 하위 그래프로 분해하고 각 하위 그래프에 해당하는 템플릿 SPN을 할당함으로써 혼합 모델을 구성한다.
• Sum-Product Networks(SPNs)의 이론적 성질을 활용함으로써, 고트리위드 그래프에서도 추론이 정확하고 효율적으로 가능하도록 한다.
• 모델은 의미 속성의 국소적 증거에 대해 엔드 투 엔드로 훈련되며, 고차원 데이터로부터 맥락에 특화된 통계적 인과관계를 학습한다.
• 각 변수별 가능도를 정규화하고 임계값을 설정함으로써, 가능도 기반의 새로운 또는 부적합한 구성 탐지가 수행된다.
• 이 방법은 국소적 증거에 대한 임의의 분포와도 호환되며, 계층적 공간 추론을 위한 다른 SPN 기반 모델과 자연스럽게 통합된다.

실험 결과

연구 질문

• RQ1 GraphSPNs는 실세계 로봇 데이터에서 유도된 동적이고 노이즈 많은 대규모 의미 맵에서 의미 속성을 효과적으로 모델링하고 추론할 수 있는가?
• RQ2 동일한 불확실하고 노이즈 있는 증거에 대해 훈련된 경우, GraphSPN의 성능은 전통적인 MRFs와 비교해 어떻게 되는가?
• RQ3 모순되거나 잘못된 국소적 증거가 존재할 경우, GraphSPNs는 마진 분포를 통해 신뢰도 신호를 신뢰성 있게 생성할 수 있는가?
• RQ4 GraphSPNs는 가능도 점수를 사용해 얼마나 잘 새로운 또는 부적합한 공간 구성을 탐지할 수 있는가?
• RQ5 GraphSPN 프레임워크는 다양한 그래프 구조와 노이즈 수준을 가진 다양한 환경에 대해 얼마나 일반화 가능한가?

주요 결과

• Freiburg 데이터셋에서 노이즈 수준 4일 때 GraphSPN은 67.58%의 정확도를 기록했으며, 동일 조건에서 MRF-2(28.32%)와 MRF-3(28.71%)를 크게 앞서며 성능을 뛰어넘었다.
• 스톡홀름 데이터셋에서 국소적 증거가 없는 탐색하지 않은 장소에 대해 노이즈 수준 2일 때 GraphSPN은 67.57%의 정확도를 달성하여 강력한 일반화 능력과 마진 추론 성능을 입증했다.
• 국소적 증거가 잘못되었을 경우, GraphSPN은 거의 균일한 마진 분포를 생성했으며, 이는 노이즈가 많은 환경에서도 신뢰도 추정이 신뢰할 수 있음을 시사한다.
• ROC 곡선에서 AUC가 높게 나타나, GraphSPN은 가능도 점수를 통해 새로운 공간 구성을 높은 정확도로 탐지했으며, 이상적인 노이즈 없는 조건에서는 MRFs보다 略로 뛰어나지 않았지만 유사한 성능을 보였다.
• 모델는 유의미한 노이즈 있는 위상적 관계만을 사용하여 의미 속성을 성공적으로 해석함으로써, 실세계 로봇 탐색 시나리오에서의 강건성을 입증했다.
• 저자들은 향후 그래프 구조 모델링 방법 평가를 위한 다양한 불확실성과 노이즈 수준을 가진 상위 그래프 데이터셋을 공개했다.