[논문 리뷰] Generalized Matrix Means for Semi-Supervised Learning with Multilayer Graphs

Pedro Mercado, Francesco Tudisco외 1명|arXiv (Cornell University)|2019. 10. 30.

Remote-Sensing Image Classification인용 수 8

한 줄 요약

이 논문은 다층 그래프에 대한 새로운 준지도 학습 프레임워크를 제안하며, 산술, 기하, 조화 평균을 일반화하는 한 파라미터 가중 평균 가중치를 갖는 파wr 평균 라플라시안 정규화를 사용한다. 이는 노이즈에 대해 증명 가능한 강건성과 최신 기법들보다 뛰어난 분류 정확도를 보이며, 대규모 배포를 가능하게 하는 스케일러블한 행렬 비존재 수치 기법을 제공한다.

ABSTRACT

We study the task of semi-supervised learning on multilayer graphs by taking into account both labeled and unlabeled observations together with the information encoded by each individual graph layer. We propose a regularizer based on the generalized matrix mean, which is a one-parameter family of matrix means that includes the arithmetic, geometric and harmonic means as particular cases. We analyze it in expectation under a Multilayer Stochastic Block Model and verify numerically that it outperforms state of the art methods. Moreover, we introduce a matrix-free numerical scheme based on contour integral quadratures and Krylov subspace solvers that scales to large sparse multilayer graphs.

연구 동기 및 목표

• 다양한 그래프 레이어가 이질적 또는 노이즈가 많은 정보를 포함하는 다층 그래프에서 준지도 학습 문제를 해결하기 위해.
• 일반적인 볼록 조합(산술 평균)이 특정 생성 모델 하에서 실패할 수 있는 그래프 레이어 융합의 한계를 극복하기 위해.
• 기존 방법이 실패하는 상황, 특히 일부 레이어가 노이즈일 경우에도 분류 성능을 증명 가능하게 향상시키는 정규화자를 개발하기 위해.
• 대규모 희소 다층 그래프에서 파워 평균 라플라시안을 행렬 비존재 수치 방법을 통해 효율적으로 계산할 수 있도록 하기 위해.

제안 방법

• 산술, 기하, 조화 평균을 일반화하는 한 파라미터 가중 행렬 평균인 파워 평균 라플라시안 $ L_p = \left( \frac{1}{T} \sum_{i=1}^T (L^{(i)}_{\mathrm{sym}})^p \right)^{1/p} $ 를 제안한다.
• 정규화된 최적화 문제인 $ f^{(r)} = \arg\min_f \|f - Y^{(r)}\|^2 + \lambda f^T L_p f $ 를 사용하며, 여기서 $ Y^{(r)} $ 는 클래스 소속 벡터이다.
• 행렬 $ L_p $ 를 명시적으로 구성하지 않고도 $ f $ 를 계산할 수 있도록, 경로 적분 구적법과 카일로프 부분공간 해법을 사용하는 행렬 비존재 수치 기법을 적용하여 확장성을 확보한다.
• 파라미터 $ p \leq 0 $ 인 경우, 정규화된 정의역을 확보하고 수치적 안정성을 확보하기 위해 $ \varepsilon = \log_{10}(1+|p|) + 10^{-6} $ 를 대각선 이동으로 사용한다.
• 다층 스토케스틱 블록 모델 하에서 이론적 보장을 도출하며, 최신 기법이 실패하는 상황에서도 올바른 분류가 가능함을 보여준다.
• 해결된 $ f $ 를 사용하여 $ y_i = \arg\max_r f^{(r)}_i $ 를 통해 클래스 레이블을 할당한다.

실험 결과

연구 질문

• RQ1 다층 그래프에서 라플라시안 행렬의 일반화된 행렬 평균이 볼록 조합보다 준지도 학습 성능을 향상시키는가?
• RQ2 파워 평균 라플라시안 정규화자가 스토케스틱 블록 모델 설정에서 노이즈가 있는 그래프 레이어에 대해 증명 가능한 강건성을 제공하는가?
• RQ3 명시적인 행렬 역행렬 계산 없이도 대규모 희소 다층 그래프에서 파워 평균 라플라시안을 효율적으로 계산할 수 있는가?
• RQ4 파워 파라미터 $ p $ 의 선택이 다양한 노이즈 및 클러스터링 환경에서 분류 성능에 어떤 영향을 미치는가?

주요 결과

• 다층 스토케스틱 블록 모델 하에서, 제안된 방법은 최신 기법이 실패하는 상황에서도 올바른 분류가 가능하며, 특히 유일한 정보 레이어가 하나일 경우에 특히 효과적이다.
• 증가하는 레이어 간 노이즈와 클러스터링 난이도를 가진 합성 그래프에서, 최신 기법들보다 유의미하게 낮은 분류 오차를 기록한다.
• $ p = -1 $ 일 경우, 산술 평균($ L_1 $)과 유사한 성능을 보이지만, $ p < -1 $ 인 경우, 예를 들어 $ p = -5 $ 또는 $ p = -10 $ 일 경우 성능이 더욱 향상되며, 특히 노이즈가 많은 환경에서 두드러진다.
• 행렬 비존재 수치 기법을 통해 대규모 희소 그래프에서도 정규화된 시스템을 효율적으로 해결할 수 있으며, 계산 비용이 행렬 크기와 무관하게 유지된다.
• 실제 데이터셋(예: Cora, Citeseer, BBC)에서 최적의 $ \lambda \in \{10, 10^2, 10^3\} $ 를 사용하여 경쟁 가능한 성능을 달성했으며, 라벨이 있는 데이터가 증가할수록 테스트 오차가 감소한다.
• 정규화 파라미터 $ \lambda $ 는 $ \lambda \leq 10^{-1} $ 일 경우 영향이 미미하지만, $ \lambda \geq 10 $ 일 경우 성능이 크게 향상되며, 실데이터에서 평균 테스트 오차가 가장 낮게 나오는 것은 $ \lambda = 10 $ 일 때이다.