[논문 리뷰] GraphOpt: Learning Optimization Models of Graph Formation

Rakshit Trivedi, Jiachen Yang외 1명|arXiv (Cornell University)|2020. 07. 07.

Graph Theory and Algorithms인용 수 7

한 줄 요약

GraphOpt는 그래프 구조 형성의 확률적 정책을 동시에 학습하고, 역강화학습을 통해 관찰된 그래프 구조를 설명하는 잠재 최적화 목표를 발견하는 엔드 투 엔드 프레임워크를 제안한다. 이는 실제 네트워크와 유사한 구조적 성질을 가진 그래프 생성에서 최신 기술 수준의 성능을 달성하며, 링크 예측에 대한 명시적 지도 학습 없이도 이식 가능하고 해석 가능한 그래프 합성을 가능하게 한다.

ABSTRACT

Formation mechanisms are fundamental to the study of complex networks, but learning them from observations is challenging. In real-world domains, one often has access only to the final constructed graph, instead of the full construction process, and observed graphs exhibit complex structural properties. In this work, we propose GraphOpt, an end-to-end framework that jointly learns an implicit model of graph structure formation and discovers an underlying optimization mechanism in the form of a latent objective function. The learned objective can serve as an explanation for the observed graph properties, thereby lending itself to transfer across different graphs within a domain. GraphOpt poses link formation in graphs as a sequential decision-making process and solves it using maximum entropy inverse reinforcement learning algorithm. Further, it employs a novel continuous latent action space that aids scalability. Empirically, we demonstrate that GraphOpt discovers a latent objective transferable across graphs with different characteristics. GraphOpt also learns a robust stochastic policy that achieves competitive link prediction performance without being explicitly trained on this task and further enables construction of graphs with properties similar to those of the observed graph.

연구 동기 및 목표

• 최종 그래프만 관찰 가능하고 구조 형성 과정이 알려져 있지 않은 상황에서 그래프 형성 메커니즘을 학습하는 데 도전한다.
• 관찰된 그래프 성질을 설명하는 잠재 목적 함수를 발견하여 이식 가능하고 해석 가능한 그래프 형성 가능성을 확보한다.
• 확장성을 위해 연속적인 잠재 행동 공간을 사용하는 강화학습 기반 순차적 의사결정 과정으로 그래프 형성 모델링.
• 이러한 작업에 대해 명시적 학습 없이도 강건하고 일반화 가능한 그래프 생성 및 링크 예측을 가능하게 한다.
• 기존의 확률적 또는 판별적 그래프 생성 모델에 대한 최적화 기반의 대안을 제공한다.

제안 방법

• GraphOpt는 구조화된 정책 네트워크를 사용하여 엣지를 한 개씩 추가하는 순차적 의사결정 과정으로 그래프 구조 형성 문제를 설정한다.
• 부분적으로 구성된 그래프의 현재 상태를 연속적이고 저차원 표현으로 압축하기 위해 그래프 신경망(GNN)을 활용한다.
• 그래프 크기와 무관한 새로운 연속 잠재 행동 공간을 도입하여 대규모 그래프에서의 효율적 학습을 가능하게 한다.
• 관찰된 그래프의 구조를 설명하는 잠재 보상 함수를 추론하기 위해 최대 엔트로피 역강화학습(IRL)을 사용하여 정책을 학습한다.
• 학습된 잠재 목적 함수는 진정한 기반이 되는 과정와 다를 수 있지만 그래프 형성 메커니즘의 작동 원리를 해석 가능한 형태로 제공한다.
• 정책과 잠재 목적 함수를 동시에 최적화하여 관찰된 그래프의 성질을 유지하는 새로운 그래프 생성이 가능하다.

실험 결과

연구 질문

• RQ1 최종 구조만 관찰 가능한 실제 네트워크의 형성 원리를 설명할 수 있는 잠재 최적화 목표를 발견할 수 있는가?
• RQ2 이 목적 함수에 기반한 학습된 정책이 다양한 구조적 특성을 가진 그래프 간에 일반화 가능한가?
• RQ3 연속 잠재 행동 공간의 사용이 대규모 그래프에서의 확장 가능한 학습과 함께 구조적 정밀도를 유지하는 데 기여하는가?
• RQ4 명시적 링크 예측 학습 없이도 학습된 정책이 경쟁력 있는 링크 예측 성능을 달성할 수 있는가?
• RQ5 학습된 목적 함수와 정책이 관찰된 그래프와 유사한 성질을 가진 새로운 그래프 생성에 얼마나 잘 이식 가능한가?

주요 결과

• GraphOpt는 다양한 실제 및 합성 그래프에서 강력한 베이스라인들과 비교해도 도수 및 군집 계수 분포와 같은 핵심 그래프 성질을 복제하는 데 있어 뚜렷한 우수성을 보였다.
• Max Degree 및 Clustering Coefficient를 포함한 다수의 메트릭에서 BTER, DC-SBM, NetGAN과 같은 베이스라인보다 최소 퍼센티지 오차를 낮게 유지하며 일관되게 뛰어난 성능을 기록했다.
• 스토캐스틱 정책 덕분에 관찰된 그래프의 복제본이 아닌 다양한 비동일한 그래프를 생성하여 구조적 패턴을 유지한다.
• 학습된 잠재 목적 함수는 서로 다른 특성을 가진 그래프 간에 이식 가능하며, 개별 사례를 초월한 일반화 능력을 보였다.
• 명시적 링크 예측 학습 없이도 경쟁력 있는 링크 예측 성능를 달성하여 학습된 표현이 의미 있는 구조적 인덕티브 바이어스를 포착하고 있음을 시사한다.
• GraphOpt는 실제 네트워크에서 흔히 존재하지만 일부 이전 방법들이 忽略한 이원성 컴포넌트를 포함한 그래프를 성공적으로 구축했다.