[논문 리뷰] Transduction on Directed Graphs via Absorbing Random Walks

Jaydeep De, Xiaowei Zhang외 1명|arXiv (Cornell University)|2014. 02. 19.

Advanced Graph Neural Networks참고 문헌 32인용 수 5

한 줄 요약

이 논문은 마르코프 체인에서의 흡수 랜덤 워크를 사용하여 방향성 있는 그래프에 대한 새로운 비반복 분류 방법을 제안한다. 이 방법은 비라벨링된 노드로부터의 기대 방문 수를 최대화한다. 다양한 실제 데이터셋에서 최신 기법들을 능가하며, 희소성 또는 동적 그래프 조건에서도 그래프의 구조와 약한 방향성 신호를 유지한다.

ABSTRACT

In this paper we consider the problem of graph-based transductive classification, and we are particularly interested in the directed graph scenario which is a natural form for many real world applications. Different from existing research efforts that either only deal with undirected graphs or circumvent directionality by means of symmetrization, we propose a novel random walk approach on directed graphs using absorbing Markov chains, which can be regarded as maximizing the accumulated expected number of visits from the unlabeled transient states. Our algorithm is simple, easy to implement, and works with large-scale graphs. In particular, it is capable of preserving the graph structure even when the input graph is sparse and changes over time, as well as retaining weak signals presented in the directed edges. We present its intimate connections to a number of existing methods, including graph kernels, graph Laplacian based methods, and interestingly, spanning forest of graphs. Its computational complexity and the generalization error are also studied. Empirically our algorithm is systematically evaluated on a wide range of applications, where it has shown to perform competitively comparing to a suite of state-of-the-art methods.

연구 동기 및 목표

• 실제 응용에서 흔한 방향성 그래프에 대한 비반복 분류의 격차를 메우기 위해.
• 모서리의 대칭화에 의존하지 않고 방향성 정보를 유지하는 방법을 개발하기 위해.
• 대규모 방향성 그래프에서 희소성과 동적 변화에 대한 강건성을 확보하기 위해.
• 보통 대칭적 접근 방식에서 상실되는, 방향성 모서리에 포함된 약한 신호에 민감하게 반응하기 위해.
• 마르코프 체인에 기반한 이론적 기초를 제공하고, 기존 기법들인 그래프 라플라시안과 스패닝 포레스트와의 연결 고리를 확립하기 위해.

제안 방법

• 라벨이 부여된 노드가 흡수 상태이고 비라벨링된 노드가 일시적인 상태인 흡수 마르코프 체인으로 분류 문제를 수립한다.
• 각 비라벨링된 노드로부터 랜덤 워크를 통해 라벨이 부여된 상태에 대한 기대 방문 수를 최대화하는 것을 목표로 한다.
• 흡수 마르코프 체인의 기본 행렬을 사용하여 방문 확률에 기반한 분류 점수를 계산한다.
• 모서리의 대칭화 없이도 방향성 그래프의 구조를 직접 활용하여 모서리 방향성과 약한 신호를 유지한다.
• 희소성과 동적 그래프를 고려한 효율적인 계산을 위해 스파arsity를 활용하고, 점진적 업데이트를 적용한다.
• 기초가 되는 마르코프 체인 프레임워크를 통해 그래프 라플라시안 기법, 그래프 커널, 스패닝 포레스트와의 이론적 연결 고리를 확립한다.

실험 결과

연구 질문

• RQ1 대칭화를 통해 방향성 정보를 잃지 않으면서, 방향성 그래프에서 비반복 분류를 효과적으로 수행할 수 있는 방법은 무엇인가?
• RQ2 흡수 랜덤 워크는 희소성 또는 변화하는 방향성 그래프에서 구조적 정보와 신호 정보를 어느 정도 유지할 수 있는가?
• RQ3 제안된 흡수 워크 방법과 기존의 그래프 기반 기법들(예: 그래프 라플라시안, 그래프 커널) 사이의 이론적 관계는 무엇인가?
• RQ4 실제 방향성 그래프 데이터셋에서 최신 비반복 분류 기법들과 비교해 볼 때, 이 방법의 경험적 성능은 어떠한가?
• RQ5 제안된 흡수 워크 방법의 계산 복잡도와 일반화 오차의 경계는 무엇인가?

주요 결과

• 제안된 방법은 다양한 실제 방향성 그래프 응용 분야에서 경쟁력 있는 성능을 달성하며, 최신 기법들을 능가하거나 그에 준하는 성능을 보인다.
• 이 방법은 일반적으로 대칭적 또는 무방향 그래프 접근 방식에서 상실되는, 방향성 모서리의 약한 신호를 효과적으로 유지한다.
• 희소 그래프에서도 높은 성능을 유지하며, 효율적인 업데이트 메커니즘 덕분에 동적 그래프 구조에 잘 적응한다.
• 이론적 분석을 통해 그래프 라플라시안 기법과 스패닝 포레스트와의 연결 고리를 드러내어, 기존 기법들을 통합적인 관점에서 재정의한다.
• 계산 복잡도와 일반화 오차 경계가 유리하여, 대규모 그래프에 대한 확장성도 지원한다.