[논문 리뷰] Model Selection Framework for Graph-based data

Rajmonda S. Caceres, Leah Weiner외 3명|arXiv (Cornell University)|2016. 09. 15.

Graph Theory and Algorithms참고 문헌 4인용 수 3

한 줄 요약

이 논문은 희박한 그래프에서 에르되시-레니 모델과 스토하스틱 블록 모델을 구분하기 위해 위상적 특징을 사용하는 랜덤 포레스트 기반 모델 선택 프레임워크를 제안한다. 이는 거의 최적의 분류 정확도를 달성하며, 노이즈와 매개변수 추정 오차에 대해 강건성을 보이며, 매개변수 공간 전반에서 핵심 구분 특징을 규명한다. 이는 두 모델이 낮은 차원의 생성 매개변수를 가짐에도 불구하고 약 15개의 26개 특징이 대부분의 구분 능력을 차지하고 있음을 보여준다.

ABSTRACT

Graphs are powerful abstractions for capturing complex relationships in diverse application settings. An active area of research focuses on theoretical models that define the generative mechanism of a graph. Yet given the complexity and inherent noise in real datasets, it is still very challenging to identify the best model for a given observed graph. We discuss a framework for graph model selection that leverages a long list of graph topological properties and a random forest classifier to learn and classify different graph instances. We fully characterize the discriminative power of our approach as we sweep through the parameter space of two generative models, the Erdos-Renyi and the stochastic block model. We show that our approach gets very close to known theoretical bounds and we provide insight on which topological features play a critical discriminating role.

연구 동기 및 목표

• 관측된 그래프 데이터에 대해 생성 모델을 선택하는 데 강건한 프레임워크를 개발함으로써, 현실 세계 네트워크에서 흔히 나타나는 희박한 영역에서의 모델 선택 문제를 해결하는 것.
• 에르되시-레니 모델과 스토하스틱 블록 모델이라는 두 가지 널리 사용되는 생성 모델의 전체 매개변수 공간에서의 모델 선택 성능을 특성화하는 것.
• 다양한 구조적 조건과 노이즈 조건에서 그래프 모델을 구분하는 데 가장 중요한 위상적 특징을 규명하는 것.
• 일반적인 현실 세계의 과제, 예를 들어 매개변수 추정 오차와 그래프 크기 변화에 대한 모델 선택 프레임워크의 강건성을 평가하는 것.
• 매개변수 공간의 다양한 영역에서 특징 중요도를 분석함으로써 그래프 표현의 복잡성에 대한 통찰을 제공하는 것.

제안 방법

• 각 그래프 인스턴스에 대해 26개의 위상적 특징(도수, 중심성, 밀도 계수, 지름, 반지름, 삼중집합 수, 평균 최단 경로 길이 등)을 포함하는 포괄적인 특징 세트를 사용하며, 각 특징은 노드별 최대값, 최소값, 평균값, 표준편차로 계산된다.
• 희박한 영역(O(V) 간선)에서 다양한 매개변수를 가진 에르되시-레니 모델과 스토하스틱 블록 모델에서 생성된 레이블이 부여된 그래프 인스턴스를 기반으로 랜덤 포레스트(RF) 분류기가 훈련된다.
• 모델 선택 작업은 이진 분류 문제로 설정되며, 주어진 그래프 인스턴스의 위상적 특징 벡터를 바탕으로 그 것이 에르되시-레니 모델인지 스토하스틱 블록 모델인지 할당하는 것이다.
• 노이즈 수준의 다양함에 따라 성능을 평가하며, 이는 간선 재연결(10% 및 20%)과 매개변수 추정 오차(p_in, p_out에서 ±0.02 및 ±0.04 이내) 포함된다.
• 강건성을 시험하기 위해 n=1000인 그래프에서 훈련하고, 동일한 모델 매개변수를 가진 더 큰 그래프(n=1100)에서 평가한다.
• 특징 중요도 분석을 통해 가장 많은 기여를 하는 특징을 규명하며, 상위-k 특징(예: 상위 10개, 상위 15개)에 대한 추출 실험을 수행한다.

실험 결과

연구 질문

• RQ1 희박한 그래프 영역에서 기계학습과 위상적 특징을 활용해 에르되시-레니 모델과 스토하스틱 블록 모델을 효과적으로 구분할 수 있는가?
• RQ2 구조적 매개변수와 노이즈(예: 간선 재연결, 매개변수 추정 오차)의 변화에 따라 모델 선택 성능이 어떻게 저하되는가?
• RQ3 매개변수 공간의 다양한 영역에서 두 모델을 구분하는 데 가장 중요한 위상적 특징은 무엇인가?
• RQ4 랜덤 포레스트 분류기는 그래프 크기 변화와 노이즈 또는 잘못된 추정된 모델 매개변수에 대해 얼마나 강건한가?
• RQ5 작은 상위 특징 세트가 높은 구분 정확도를 유지할 수 있는가? 그리고 이 세트는 매개변수 공간 전반에서 변하는가?

주요 결과

• 랜덤 포레스트 분류기는 희박한 에르되시-레니 모델과 스토하스틱 블록 모델 그래프를 구분하는 데 거의 최적의 분류 정확도를 달성하며, 이론적 성능 한계에 매우 가까운 성능을 보인다.
• 간선의 10%가 균일하게 재연결될 경우 분류 정확도는 상대적으로 높지만, 20% 재연결 시에는 정확도가 크게 떨어지며, 이는 강건성에 대한 날카로운 임계점이 있음을 시사한다.
• 매개변수 추정 오차가 ±0.02 이내일 경우 강력한 성능을 유지하지만, ±0.04를 초과하는 오차에서는 성능이 심각하게 저하된다.
• 그래프 크기 변화(예: n=1000에서 훈련, n=1100에서 평가)로 인해 희박한 그래프에서는 정확도가 저하되나, 더 농축된 영역에서는 여전히 상대적으로 강건한 성능을 유지한다.
• 원래의 26개 위상적 특징 중 약 15개가 대부분의 구분 능력을 차지하지만, 이 세트는 매개변수 공간 전반에서 변동이 있다.
• 상위 10개 특징만을 사용할 경우 성능이 크게 저하되며, 순수한 그래프 인스턴스에서의 결과와 대조적으로, 이는 특징 선택이 맥락에 따라 달라지며 모델에 특화된다는 것을 시사한다.