[논문 리뷰] Supervised Blockmodelling

Leto Peel|arXiv (Cornell University)|2012. 09. 25.

Complex Network Analysis Techniques참고 문헌 18인용 수 5

한 줄 요약

이 논문은 링크 구조에서 해석 가능한 역할 기반 상호작용 패턴을 학습함으로써 네트워크 내 노드 분류 성능을 향상시키는 지도 학습 블록모델링을 제안한다. 세 가지 변형—표준 SBM, 단일 소속, 혼합 소속 블록모델—을 사용하며, 혼합 소속 모델는 더 높은 계산 비용을 감수하나 더 뛰어난 성능을 보이며, 모든 모델가 이질적인 네트워크에서 표준 SBM보다 뛰어난 성능을 보인다.

ABSTRACT

Collective classification models attempt to improve classification performance by taking into account the class labels of related instances. However, they tend not to learn patterns of interactions between classes and/or make the assumption that instances of the same class link to each other (assortativity assumption). Blockmodels provide a solution to these issues, being capable of modelling assortative and disassortative interactions, and learning the pattern of interactions in the form of a summary network. The Supervised Blockmodel provides good classification performance using link structure alone, whilst simultaneously providing an interpretable summary of network interactions to allow a better understanding of the data. This work explores three variants of supervised blockmodels of varying complexity and tests them on four structurally different real world networks.

연구 동기 및 목표

• 집단 분류 방법가 조화성 가정을 내포하고 있으며, 클래스 내 이질적인 상호작용 패턴을 모델링하지 못하는 한계를 해결하기 위해.
• 네트워크 구조를 활용하여 분류 성능를 향상시키고, 노드 역할 상호작용의 해석 가능한 요약을 제공하는 지도 학습 블록모델 프레임워크를 개발하기 위해.
• 다양한 실제 네트워크에서 표준 SBM, 단일 소속, 혼합 소속의 세 가지 변형을 비교하여 성능 및 계산 비용의 상호 교환 관계를 평가하기 위해.
• 학습된 블록모델 구조가 관계 데이터 내 클래스-역할 관계 및 상호작용 패턴을 어떻게 해석 가능한 방식으로 분석할 수 있는지 보여주기 위해.

제안 방법

• 링크 구조에서 역할을 추론하고 이를 이용해 노드 클래스 레이블을 예측하는 스토하스틱 블록모델 기반의 지도 학습 블록모델 프레임워크를 제안한다.
• 기존의 기하급수적 수렴 속도가 느린 기반의 기반과 표준 변분 추론에서의 고비용 디감마 함수 평가를 피하는 효율적인 업데이트 식을 갖춘 축약된 변분 베이즈 추론 방법을 도입한다.
• 세 가지 모델을 개발한다: (1) 역할과 클래스가 동일한 표준 SBM; (2) 각 클래스에 다수의 역할을 允허하는 지도 학습 단일 소속 블록모델(SSMB); (3) 노드가 Softmax 확률에 따라 다수의 역할에 소속될 수 있는 지도 학습 혼합 소속 블록모델(SMMB).
• 혼합 소속 모델의 Softmax 파라미터를 추정하기 위해 공액 기울기 최적화를 사용하여 탄력적인 역할 할당을 가능하게 한다.
• 노드 역할은 딜레트 분포 사전 확률에서 추출되고, 간선 확률은 역할 쌍에 따라 베타 분포에서 추출되는 생성 과정을 적용한다.
• 네 가지 실제 네트워크—Cora, David, News, Weddell—에 모델를 적용하여 네트워크 내 분류를 통해 다양한 구조적 특성을 가진 환경에서의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 지역적 역할 간 상호작용 패턴을 모델링함으로써 클래스의 조화성 가정을 하지 않고도 노드 분류 성능 향상을 달성할 수 있는가?
• RQ2 이질적인 상호작용 패턴을 가진 네트워크에서 단일 소속 및 혼합 소속 블록모델의 성능 및 해석 가능성은 표준 SBM에 비해 어떻게 비교되는가?
• RQ3 지도 학습 블록모델의 단일 소속 및 혼합 소속 변형 간의 계산 비용-성능 상호 교환 관계는 어떠한가?
• RQ4 학습된 블록모델 구조는 클래스-역할 관계 및 역할 상호작용 네트워크에서 얼마나 해석 가능한 패턴을 드러낼 수 있는가?

주요 결과

• 이질적인 상호작용 패턴이 존재하는 News 및 Weddell 네트워크에서 지도 학습 혼합 소속 블록모델(SMMB)이 가장 높은 분류 성능를 기록했다.
• 높은 조화성을 보이는 Cora와 이질성을 띠는 David 네트워크에서는 표준 SBM가 더 복잡한 모델들과 유사한 성능를 보였으며, 이는 동질적인 환경에서는 복잡성 증가에 따른 유의미한 이점이 없음을 시사한다.
• Weddell 데이터셋에서는 단일 소속 모델(SSMB)이 혼합 소속 모델보다 성능가 뛰어나지만, 변동성이 더 크므로 정확도와 안정성 간의 상충 관계가 존재한다.
• 혼합 소속 모델는 공액 기울기 방법을 통한 Softmax 파라미터 추정의 계산 비용으로 인해 단일 소속 모델보다 훨씬 긴 실행 시간을 기록한다.
• SMMB 모델에서 유도된 요약 네트워크는 해석 가능한 패턴을 드러내며, 예를 들어 연이어 나타나는 역할의 사슬(예: 4-2-5-1)과 방향성 있는 선호도(예: 부사가 동사에만 연결됨)를 포함한다.
• 역할 분포 분석 결과 특정 역할들이 특정 클래스와 뚜렷하게 연관되어 있음을 확인했다. 예를 들어 역할 1과 2는 주로 동사와 관련되며, 역할 7과 9는 명사와 연관되어 있다.