[논문 리뷰] Graph-based Semi-supervised Learning: A Comprehensive Review

Zixing Song, Xiangli Yang외 2명|arXiv (Cornell University)|2021. 02. 26.

Text and Document Classification Technologies인용 수 26

한 줄 요약

이 설문은 그래프 기반 반지도학습(GSSL)에 대한 체계적이고 최신의 분류체와 비판적 검토를 제공하며, 그래프 구성 및 라벨 추론 방법을 상세히 다루고, 그래프 임베딩을 위한 단일화된 인코더–디코더 관점과 미래 방향에 대한 논의를 제시한다.

ABSTRACT

Semi-supervised learning (SSL) has tremendous value in practice due to its ability to utilize both labeled data and unlabelled data. An important class of SSL methods is to naturally represent data as graphs such that the label information of unlabelled samples can be inferred from the graphs, which corresponds to graph-based semi-supervised learning (GSSL) methods. GSSL methods have demonstrated their advantages in various domains due to their uniqueness of structure, the universality of applications, and their scalability to large scale data. Focusing on this class of methods, this work aims to provide both researchers and practitioners with a solid and systematic understanding of relevant advances as well as the underlying connections among them. This makes our paper distinct from recent surveys that cover an overall picture of SSL methods while neglecting fundamental understanding of GSSL methods. In particular, a major contribution of this paper lies in a new generalized taxonomy for GSSL, including graph regularization and graph embedding methods, with the most up-to-date references and useful resources such as codes, datasets, and applications. Furthermore, we present several potential research directions as future work with insights into this rapidly growing field.

연구 동기 및 목표

• GSSL 발전과 이들 간의 관계에 대한 견고하고 체계적인 이해를 제공합니다.
• 그래프 구성과 라벨 추론을 구분하는 일반화된 분류체를 제안합니다.
• 일관된 프레임워크 내에서 그래프 정규화와 그래프 임베딩 접근 방법을 요약합니다.
• 연구자와 실무자를 위한 코드, 데이터셋 및 응용 사례를 포함한 실용적 자원을 제공합니다.
• 동적성, 확장성, 잡음 견고성, 그리고 강인성의 개방형 문제와 향후 방향을 식별합니다.

제안 방법

• 두 단계 GSSL 프로세스: 그래프 구성 및 라벨 추론을 도입합니다.
• 일반화된 손실 프레임워크 L(f) = Ls(f, Dl) + μLr(f, D) 를 제시하고 이를 그래프 정규화 및 그래프 임베딩에 특화시킵니다.
• 라벨 추론 방법을 그래프 정규화와 그래프 임베딩으로 분류하고, 구체적인 정규화 항과 그 공식을 논의합니다.
• 얕은 임베딩과 깊은 임베딩 접근을 연결하기 위한 그래프 임베딩의 일원화된 인코더–디코더 관점을 제안합니다.
• 구체적인 방법들: 라벨 전파(label propagation), GRF, LGC, p-Laplacian 정규화, 방향성 정규화, 매니폴드 정규화, LPDGL, Poisson learning 를 검토합니다.
• KNN, ε-이웃, 및 b-matching 와 같은 그래프 구성 기법을 감독된 변형을 포함하여 논의합니다.

실험 결과

연구 질문

• RQ1 GSSL에서 그래프 구성과 라벨 추론을 체계적으로 어떻게 분류할 수 있을까?
• RQ2 그래프에서 효과적인 라벨 전파를 가능하게 하는 핵심 정규화 및 임베딩 접근 방식은 무엇인가?
• RQ3 얕은 표현과 깊은 표현을 모두 포착하기 위해 그래프 임베딩을 인코더–디코더 프레임워크로 어떻게 통합할 수 있을까?
• RQ4 실용적 채택과 실험을 지원하는 자원(코드, 데이터셋, 응용 사례)은 무엇인가?
• RQ5 GSSL에서 동적성, 확장성, 잡음 견고성, 및 강건성에 대한 개방된 연구 방향은 무엇인가?

주요 결과

• 본 논문은 포괄적이고 최신의 리뷰와 새로운 GSSL 분류체를 제공합니다.
• 일반 손실 프레임워크를 제시하여 그래프 정규화 및 그래프 임베딩 방법을 모두 안내합니다.
• 라벨 전파 및 그 변형들(GRF, LGC, p-Laplacian, 방향성 정규화)은 그래프 정규화의 핵심이다.
• 그래프 임베딩은 인코더–디코더 패러다임으로 틀지어져 얕은 방식과 깊은 방식의 통합을 이룬다.
• 본 조사는 실용적 실험을 지원하기 위해 사용 가능한 코드, 데이터셋 및 응용 사례를 수집한다.
• 동적이고 확장 가능하며 강건한 GSSL의 개방된 문제와 향후 방향을 논의한다.