[논문 리뷰] Graphs in machine learning: an introduction

Pierre Latouche, Fabrice Rossi|arXiv (Cornell University)|2015. 06. 23.

Complex Network Analysis Techniques참고 문헌 64인용 수 9

한 줄 요약

이 논문은 비지도 및 지도 학습 작업을 위한 그래프 기반 기계학습 방법을 소개하며, 군집화, 시각화, 그래프 비교를 포함한다. 정적 및 동적 그래프에 대한 기법을 제시하며, 모듈러리티 기반 커뮤니티 탐지, 그래프 커널, 편집 거리에 중점을 두며, 관계 데이터 및 변화하는 네트워크에 적용한다.

ABSTRACT

Graphs are commonly used to characterise interactions between objects of interest. Because they are based on a straightforward formalism, they are used in many scientific fields from computer science to historical sciences. In this paper, we give an introduction to some methods relying on graphs for learning. This includes both unsupervised and supervised methods. Unsupervised learning algorithms usually aim at visualising graphs in latent spaces and/or clustering the nodes. Both focus on extracting knowledge from graph topologies. While most existing techniques are only applicable to static graphs, where edges do not evolve through time, recent developments have shown that they could be extended to deal with evolving networks. In a supervised context, one generally aims at inferring labels or numerical values attached to nodes using both the graph and, when they are available, node characteristics. Balancing the two sources of information can be challenging, especially as they can disagree locally or globally. In both contexts, supervised and un-supervised, data can be relational (augmented with one or several global graphs) as described above, or graph valued. In this latter case, each object of interest is given as a full graph (possibly completed by other characteristics). In this context, natural tasks include graph clustering (as in producing clusters of graphs rather than clusters of nodes in a single graph), graph classification, etc. 1 Real networks One of the first practical studies on graphs can be dated back to the original work of Moreno [51] in the 30s. Since then, there has been a growing interest in graph analysis associated with strong developments in the modelling and the processing of these data. Graphs are now used in many scientific fields. In Biology [54, 2, 7], for instance, metabolic networks can describe pathways of biochemical reactions [41], while in social sciences networks are used to represent relation ties between actors [66, 56, 36, 34]. Other examples include powergrids [71] and the web [75]. Recently, networks have also been considered in other areas such as geography [22] and history [59, 39]. In machine learning, networks are seen as powerful tools to model problems in order to extract information from data and for prediction purposes. This is the object of this paper. For more complete surveys, we refer to [28, 62, 49, 45]. In this section, we introduce notations and highlight properties shared by most real networks. In Section 2, we then consider methods aiming at extracting information from a unique network. We will particularly focus on clustering methods where the goal is to find clusters of vertices. Finally, in Section 3, techniques that take a series of networks into account, where each network is

연구 동기 및 목표

• 이 분야에 익숙하지 않은 연구자들에게 그래프 기반 기계학습 방법에 대한 종합적인 소개를 제공하는 것.
• 정적 및 변화하는 네트워크에서 그래프 구조에서 지식을 추출하는 데 도전 과제를 다루는 것.
• 비지도 그래프 분석과 노드 레이블 또는 그래프 수준 예측을 포함하는 지도 학습 작업 사이의 격차를 메우는 것.
• 관계 데이터(그래프로 확장된)와 그래프 값 데이터를 기계학습 파ip라인에 통합하는 것을 탐색하는 것.
• 동형성과 편집 거리 포함한 그래프 비교의 복잡성과 커널 방법에서의 역할을 부각하는 것.

제안 방법

• 이중 또는 가중치가 부여된 간선과 선택적 정점/간선 레이블을 포함한 인접 행렬을 사용하여 그래프를 표현한다.
• 커뮤니티 탐지에 대해 모듈러리티 최대화와 잠재 위치 군집 모델(LPCM)을 적용한다.
• 정점/간선 연산의 최소 비용 시퀀스를 통해 그래프를 비교하기 위해 그래프 편집 거리를 메트릭으로 사용한다.
• 제품 그래프에서의 무작위 보행 기반 그래프 커널을 사용하여 벡터 공간 방법을 비벡터 그래프 데이터에 일반화한다.
• 노드 특징과 그래프 구조를 결합하여 관계 데이터를 통합하고, 둘 다 학습에서 균형을 이룬다.
• 간선과 네트워크 구조의 시간적 변화를 고려하여 동적 그래프로 방법을 확장한다.

실험 결과

연구 질문

• RQ1 그래프 구조가 네트워크 내 숨겨진 커뮤니티 구조를 어떻게 활용할 수 있는가?
• RQ2 동형성을 식별하고 처리해야 할 때 효과적인 그래프 비교 방법은 무엇인가?
• RQ3 관계 데이터에서의 지도 학습 작업에서 노드 특징과 그래프 구조를 어떻게 균형 있게 조율할 수 있는가?
• RQ4 정확한 그래프 동형성과 부분그래프 동형성의 한계와 계산적 과제는 무엇인가?
• RQ5 그래프 커널과 편집 거리를 사용하여 표준 기계학습 알고리즘을 그래프 구조 데이터에 일반화할 수 있는가?

주요 결과

• 대부분의 실세계 네트워크는 희박성, 거대한 연결 성분, 도수 이질성, 그리고 최단 경로가 O(log N) 비례로 스케일링되는 소월드 성질을 보인다.
• 모듈러리티 기반 방법과 잠재 위치 군집 모델은 내부 연결이 빈번하고 그룹 간 연결이 흐린 커뮤니티 정의에 효과적이다.
• 그래프 편집 거리는 최소 비용 변환 시퀀스를 통해 그래프 간 이질성을 측정하는 일반적인 프레임워크를 제공한다.
• 제품 그래프에서의 무작위 보행 기반 그래프 커널은 SVM 및 커널 k-means와 같은 커널 방법을 그래프 데이터에 적용할 수 있게 한다.
• 그래프 동형성 문제의 계산적 과제는 여전히 도전적이며, 최고의 알려진 복잡도는 O(2^√(n log n))이며, 부분그래프 동형성은 NP-완전이다.
• 관계적 및 그래프 값 데이터 설정에서는 노드 특징과 구조적 정보를 신중히 통합할 필요가 있으며, 특히 둘이 충돌할 경우 더욱 그러하다.