[논문 리뷰] On the Supermodularity of Active Graph-based Semi-supervised Learning with Stieltjes Matrix Regularization

Pin‐Yu Chen, Dennis Wei|arXiv (Cornell University)|2018. 04. 09.

Advanced Graph Neural Networks참고 문헌 14인용 수 3

한 줄 요약

이 논문은 스틸레티스 행렬 정규화 하에서 활성 그래프 기반 준지도 학습(AG-SSL) 목적 함수의 초모듈러성(supermodularity)을 증명하여, 이론적 성능 보장을 갖는 근사 알고리즘을 가능하게 한다. 이 방법은 실제 네트워크에서 라벨이 부여된 노드가 단 2개뿐이어도 완벽한 커뮤니티 탐지 성능을 달성하며, 제한된 라벨링 예산 하에서 최신 기술보다 뛰어난 그래프 신호 샘플링 성능을 보인다.

ABSTRACT

Active graph-based semi-supervised learning (AG-SSL) aims to select a small set of labeled examples and utilize their graph-based relation to other unlabeled examples to aid in machine learning tasks. It is also closely related to the sampling theory in graph signal processing. In this paper, we revisit the original formulation of graph-based SSL and prove the supermodularity of an AG-SSL objective function under a broad class of regularization functions parameterized by Stieltjes matrices. Under this setting, supermodularity yields a novel greedy label sampling algorithm with guaranteed performance relative to the optimal sampling set. Compared to three state-of-the-art graph signal sampling and recovery methods on two real-life community detection datasets, the proposed AG-SSL method attains superior classification accuracy given limited sample budgets.

연구 동기 및 목표

• 비음수 외대각 항을 갖는 정규화 행렬이 포함된 스틸레티스 행렬 정규화의 광범위한 클래스에 대해 AG-SSL 목적 함수의 초모듈러성 확립
• 최적의 집합에 대해 성능 보장을 갖는 전형적 탐색을 피하는, 라벨 샘플링을 위한 근사 알고리즘 개발
• 특히 커뮤니티 탐지 작업에서 최소한의 라벨링 노력으로 분류 정확도 향상
• 제한된 샘플 예산 하에서 기존의 그래프 신호 샘플링 및 복원 방법과의 성능 비교를 통한 뛰어난 성능 입증

제안 방법

• 스틸레티스 행렬에서 유도된 정밀도 행렬을 사용하여 라벨에 다변량 정규 사전확률을 적용함으로써 그래프 기반 준지도 학습을 신호 복원 문제로 공식화
• 비음수 외대각 항을 갖는 정규화 행렬이 정반정형이면서 초모듈러성을 갖는 목적 함수의 초모듈러성 증명
• 기대 예측 손실을 최소화하기 위해 반복적으로 노드를 선택하는 근사 알고리즘 제안, 초모듈러성에 기반한 성능 상한 보장
• 신호 모델을 정의하기 위해 그래프 푸리에 변환과 스펙트럼 성질을 사용하되, 밴드리미티드 성질을 가정하지 않음
• 기대 사후 분산을 기반으로 한 손실 함수를 사용하여 노드 선택 최적화
• 노이즈가 있는 라벨 관측치를 사용하는 릿지 회귀 기반 예측기 구현, 스틸레티스 행렬 정규화 적용

실험 결과

연구 질문

• RQ1 스틸레티스 행렬 정규화 하에서 AG-SSL 목적 함수가 초모듈러성을 갖는가?
• RQ2 이 초모듈러성 하에서 근사 알고리즘이 최적의 샘플링 집합에 대해 일정 요소 근사 성능을 달성할 수 있는가?
• RQ3 제한된 라벨링 예산 하에서 제안된 방법이 기존의 최신 그래프 신호 샘플링 방법과 비교해 분류 정확도에서 뛰어난 성능을 보이는가?
• RQ4 다양한 정규화 행렬(예: L vs. LN)을 사용할 경우 샘플링 성능 및 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 AG-SSL 방법은 카라테 및 돌핀 네트워크에서 라벨이 부여된 노드가 단 2개뿐이어도 커뮤니티 탐지에서 100% 분류 정확도를 달성한다.
• 제한된 샘플 예산 하에서 랜덤 샘플링, 그래프 스펙트럼 프록시(GSP), 그래프 시프트 연산자(GSO), 찬암-리베이로 방법(CRM)보다 손실 및 정확도 측면에서 모두 뛰어난 성능을 보인다.
• 비정규화된 라플라시안(L) 대비 정규화된 라플라시안(LN)을 사용할 경우 GSP 및 CRM의 성능 향상이 나타나, 그래프 푸리에 기저가 샘플링 품질에 영향을 미친다는 것을 시사한다.
• 제안된 방법은 GSP와 유사한 노드 선택 패턴을 보이며, 스펙트럼 기반 샘플링 히우리스틱과의 일치를 보이고 있는 반면, GSO 및 CRM는 더 다소 이질적인 샘플링 패턴을 보인다.
• 초모듈러성에 기반한 이론적 보장으로 인해, 전체 탐색의 NP-난이도를 감안할 때도 근사 알고리즘의 성능이 최적의 샘플링 집합에 대해 일정 요소 이내로 제한됨을 보장한다.