[논문 리뷰] Stochastic Gradient Descent for Relational Logistic Regression via Partial Network Crawls

Jiasen Yang, Bruno Ribeiro외 1명|arXiv (Cornell University)|2017. 07. 24.

Bayesian Modeling and Causal Inference참고 문헌 18인용 수 4

한 줄 요약

이 논문은 부분 네트워크 크롤링을 사용하여 비편향 파am터 추정과 타당한 신뢰구간을 확보하기 위해 관계 로지스틱 회귀(RLR)에 대한 확률적 경사하강법(SGD) 방법을 제안한다. 시드 노드에서 시작하는 랜덤 워크 투어의 복귀 프로세스를 활용하여 일반적인 크롤링 전략에서 발생하는 표본 추출 편향을 보정함으로써, 유한한 분산을 가진 점근적으로 비편향 로그우도 및 경사 추정을 보장한다.

ABSTRACT

Research in statistical relational learning has produced a number of methods for learning relational models from large-scale network data. While these methods have been successfully applied in various domains, they have been developed under the unrealistic assumption of full data access. In practice, however, the data are often collected by crawling the network, due to proprietary access, limited resources, and privacy concerns. Recently, we showed that the parameter estimates for relational Bayes classifiers computed from network samples collected by existing network crawlers can be quite inaccurate, and developed a crawl-aware estimation method for such models (Yang, Ribeiro, and Neville, 2017). In this work, we extend the methodology to learning relational logistic regression models via stochastic gradient descent from partial network crawls, and show that the proposed method yields accurate parameter estimates and confidence intervals.

연구 동기 및 목표

• 접근 제한으로 인해 부분 네트워크 크롤링만 가능할 경우 관계 로지스틱 회귀에서 편향된 파라미터 추정 문제를 해결하기 위해.
• 샘플 데이터에서 전체 네트워크의 로그우도 및 그 경사의 비편향 추정을 제공하는 확률적 경사하강법을 개발하기 위해.
• 표본 추출 편향에도 불구하고 정확한 통계적 추론을 가능하게 하기 위해 추정 파라미터에 대한 타당한 신뢰구간을 구성하기 위해.
• 더 일반적이고 널리 사용되는 관계 로지스틱 회귀 모델으로 이전의 관계 베이즈 분류기 연구를 확장하기 위해.
• 제안된 방법이 크롤링된 데이터에 대한 난이한 SGD보다 더 낮은 추정 오차와 더 높은 신뢰구간 커버리지 성능을 보이는가를 입증하기 위해.

제안 방법

• 방법은 시드 노드에서 시작하는 랜덤 워크 기반 네트워크 크롤링 전략을 사용하여 네트워크를 샘플링하며, 시드 집합을 슈퍼노드로 간주하여 이 과정을 복귀 프로세스로 모델링한다.
• 전체 네트워크의 로그우도는 시드 노드에서 직접 알려진 기여도와 투어 기반 샘플링을 통해 비편향 추정된 나머지 네트워크 기여도를 조합하여 추정한다.
• 꼬리 로그우도의 핵심 추정량은 $ \widehat{\mathcal{L}}^{t} = \frac{d_{\mathcal{S}}}{m}\sum_{k=1}^{m}\sum_{t=2}^{\xi_k - 1}\frac{g(v^{(k)}_t)}{d_{v^{(k)}_t}} $이며, 여기서 $ d_{\mathcal{S}} $는 시드 노드에서의 총 외부 차수이다.
• 로거우도의 경사는 시드 노드와 투어에서 샘플된 노드의 기여도의 선형 조합을 통해 추정하여 비편향 경사 추정을 보장한다.
• 이론적 근거는 복귀 보상 정리에 기반하며, 추정량의 기대값이 전체 네트워크의 진짜 로그우도와 일치함을 보여준다.
• 이 방법은 경사 추정량의 유한한 분산을 보장하며, 표준 SGD 조건 하에서 점근적으로 진짜 파라미터 값으로 수렴함을 보장한다.

실험 결과

연구 질문

• RQ1 부분 네트워크 크롤링을 통해 수집된 데이터로 훈련할 때, 관계 로지스틱 회귀에 대한 확률적 경사하강법을 비편향으로 만들 수 있는가?
• RQ2 랜덤 워크나 포레스트 파이어와 같은 일반적인 크롤링 방법에서 발생하는 표본 추출 편향은 어떻게 파라미터 추정에서 보정할 수 있는가?
• RQ3 부분 네트워크 데이터만 이용할 경우 모델 파라미터에 대해 타당한 신뢰구간을 구성할 수 있는가?
• RQ4 제안된 방법은 크롤링된 데이터에 대한 난이한 SGD보다 추정 정확도와 구간 커버리지 측면에서 뛰어나게 성능을 발휘하는가?
• RQ5 제안된 추정량의 비편향성과 수렴성에 대해 어떤 이론적 보장을 제공할 수 있는가?

주요 결과

• 제안된 방법은 부분 네트워크 크롤링 데이터로 훈련하더라도 전체 네트워크의 로그우도 함수와 그 경사의 비편향 추정을 제공한다.
• 이 방법은 경사 추정량의 유한한 분산을 보장하여, 충분히 작은 학습률을 사용할 경우 SGD가 진짜 파라미터 값으로 수렴함을 보장한다.
• 이론적 분석은 랜덤 워크 투어에 대한 복귀 보상 정리를 활용하여 추정량이 점근적으로 비편향이 되는 조건을 만족함을 증명한다.
• 대규모 네트워크 데이터셋에 대한 실증 평가에서, 크롤링된 데이터에 대한 난이한 SGD보다 일관되게 낮은 파라미터 추정 오차를 기록한다.
• 신뢰구간의 커버리지 확률이 더 높아져 통계적 신뢰성이 향상됨을 보여준다.
• 이 방법은 관계 베이즈 분류기에서의 편향 보정 추정을 더 일반적인 관계 로지스틱 회귀 모델로 성공적으로 확장한다.