[논문 리뷰] Empirical Risk Minimization and Stochastic Gradient Descent for Relational Data

Victor Veitch, Morgane Austern외 3명|arXiv (Cornell University)|2018. 06. 27.

Advanced Graph Neural Networks참고 문헌 6인용 수 3

한 줄 요약

이 논문은 그래프 샘플링을 모델 설계의 명시적 구성 요소로 간주함으로써, 경험적 리스크 최소화(ERM)와 확률적 경사 하강법(SGD)을 관계형 데이터로 확장하는 Relational ERM(관계형 ERM) 프레임워크를 소개한다. 철저히 설계된 샘플링 기법을 통해 편향이 없는 확률적 경사 하강법을 가능하게 하여, 자동 미분를 통한 효율적이고 즉시 사용 가능한 훈련이 가능하며, 반감도 노드 분류 및 정점 속성 임베딩 작업에서 뛰어난 성능을 보인다.

ABSTRACT

Empirical risk minimization is the main tool for prediction problems, but its extension to relational data remains unsolved. We solve this problem using recent ideas from graph sampling theory to (i) define an empirical risk for relational data and (ii) obtain stochastic gradients for this empirical risk that are automatically unbiased. This is achieved by considering the method by which data is sampled from a graph as an explicit component of model design. By integrating fast implementations of graph sampling schemes with standard automatic differentiation tools, we provide an efficient turnkey solver for the risk minimization problem. We establish basic theoretical properties of the procedure. Finally, we demonstrate relational ERM with application to two non-standard problems: one-stage training for semi-supervised node classification, and learning embedding vectors for vertex attributes. Experiments confirm that the turnkey inference procedure is effective in practice, and that the sampling scheme used for model specification has a strong effect on model performance. Code is available at https://github.com/wooden-spoon/relational-ERM.

연구 동기 및 목표

• 데이터가 i.i.d. 예제로 분해되지 않는 관계형 데이터 환경에서 경험적 리스크 최소화(ERM)를 위한 원칙적이고 일반적인 프레임워크의 부족을 해결한다.
• 그래프 구조에 의해 유도되는 의존성으로 인해 표준 확률적 경사 하강법(SGD)이 관계형 데이터에서 편향 없는 경사를 생성하지 못하는 근본적인 과제를 극복한다.
• 기존 ERM의 핵심 이점을 유지하는 일반적인 목적의 모델에 종속되지 않는 추론 절차를 개발한다: 통계적 일관성과 편향 없는 확률적 경사 하강법에 의한 효율적 최적화.
• 빠른 그래프 샘플링 기법과 자동 미분 도구를 통합하여 관계형 학습 작업에 대한 실용적이고 확장 가능한 훈련을 가능하게 한다.
• 제안된 프레임워크 하에서 학습된 임베딩의 수렴성과 안정성에 대한 이론적 보장을 수립한다.

제안 방법

• 임의로 샘플링된 부분 그래프 위에서의 기대 손실로 관계형 데이터의 경험적 리스크를 정의하며, 그래프 샘플링 메커니즘을 리스크 공식화에 명시적으로 통합한다.
• 예: 균일한 간선 또는 정점 샘플링과 같은 그래프 샘플링 기법을 모델 설계의 핵심 구성 요소로 사용하여, 샘플된 부분 그래프에서의 손실의 경사가 전체 경사의 편향 없는 추정치가 되도록 보장한다.
• 그래프의 교환 가능성 이론과 그래프온 과정 이론을 활용하여 경험적 리스크의 渐近적 행동을 정당화하고 추정기의 일관성을 확보한다.
• 샘플링 기반 리스크 및 경사 계산을 자동 미분 프레임워크와 통합하여 관계형 모델의 엔드 투 엔드, 미분 가능한 훈련을 가능하게 한다.
• 샘플된 부분 그래프에 대한 목적 함수를 정의함으로써, 지정된 샘플링 메커니즘 하에서 편향 없는 보장이 있는 미니배치 SGD 적용을 가능하게 한다.
• 다양한 미분 가능한 모델을 사용하여, 한 단계 반감도 노드 분류 및 정점 속성 임베딩 학습이라는 비표준 작업에 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 i.i.d. 데이터에 대한 전통적 ERM와 유사한 원칙적이고 일반적인 목적의 경험적 리스크 최소화 프레임워크를 관계형 데이터에 대해 개발할 수 있는가?
• RQ2 데이터가 독립적인 예제로 분해되지 않는 관계형 학습 문제에서 편향 없는 확률적 경사 하강법을 어떻게 구성할 수 있는가?
• RQ3 어떤 샘플링 기법이 관계형 환경에서 확률적 경사 하강법이 전체 경사의 편향 없는 추정치가 되도록 보장하는가?
• RQ4 제안된 프레임워크는 관측된 그래프의 크기가 커질수록 일관성 있고 수렴하는 추정기를 제공하는가?
• RQ5 실제로 샘플링 기법의 선택이 학습된 모델의 성능과 안정성에 어떤 영향을 미치는가?

주요 결과

• 제안된 관계형 ERM 프레임워크는 무작위로 샘플링된 부분 그래프에서 계산된 확률적 경사 하강법이 전체 경사의 편향 없는 추정치임을 보장하여, 표준 미니배치 SGD의 사용을 가능하게 한다.
• 이론적 분석 결과, 손실의 강凸성과 유계 헤시안 등의 온건한 정규 조건 하에서 추정 매개수는 기대 리스크의 진짜 최소화자에 대한 확률적 수렴을 보인다.
• 이 프레임워크는 안정된 임베딩을 달성한다: 크기가 $n$과 $n+1$인 그래프에서 추정된 임베딩 간의 차이가 $n \to \infty$일 때 확률적으로 0으로 수렴함으로써 데이터 크기 변화에 대한 강건성을 나타낸다.
• 실험 결과는 이 방법이 실용적으로 효과적임을 보이며, 한 단계 반감도 노드 분류 및 정점 속성 임베딩 작업에서 뛰어난 성능을 달성한다.
• 샘플링 기법의 선택은 모델 성능에 상당한 영향을 미치며, 샘플링 설계를 모델 명세에 통합하는 것이 중요함을 시사한다.
• 프레임워크는 즉시 사용 가능한 틀이다: 빠른 그래프 샘플링과 자동 미분를 조합함으로써, 모델에 특화된 경사 수식 유도 없이도 효율적인 즉시 훈련을 가능하게 한다.