[論文レビュー] Empirical Risk Minimization and Stochastic Gradient Descent for Relational Data

Victor Veitch, Morgane Austern+3 more|arXiv (Cornell University)|Jun 27, 2018

Advanced Graph Neural Networks参考文献 6被引用数 3

ひとこと要約

本稿では、グラフサンプリングをモデル設計の明示的要素として扱うことで、Empirical Risk Minimization（ERM）および確率的勾配降下法（SGD）を関係データに拡張するフレームワーク、Relational ERM（関係的ERM）を提案する。適切に設計されたサンプリングスキームにより、不偏な確率的勾配を実現し、自動微分を用いた効率的で即時利用可能な学習を可能にし、半教師ありノード分類および頂点属性埋め込みタスクで優れた性能を示す。

ABSTRACT

Empirical risk minimization is the main tool for prediction problems, but its extension to relational data remains unsolved. We solve this problem using recent ideas from graph sampling theory to (i) define an empirical risk for relational data and (ii) obtain stochastic gradients for this empirical risk that are automatically unbiased. This is achieved by considering the method by which data is sampled from a graph as an explicit component of model design. By integrating fast implementations of graph sampling schemes with standard automatic differentiation tools, we provide an efficient turnkey solver for the risk minimization problem. We establish basic theoretical properties of the procedure. Finally, we demonstrate relational ERM with application to two non-standard problems: one-stage training for semi-supervised node classification, and learning embedding vectors for vertex attributes. Experiments confirm that the turnkey inference procedure is effective in practice, and that the sampling scheme used for model specification has a strong effect on model performance. Code is available at https://github.com/wooden-spoon/relational-ERM.

研究の動機と目的

• データがi.i.d.な例に分解されない関係データの文脈において、原則的で汎用的なEmpirical Risk Minimization（ERM）フレームワークの欠如に取り組む。
• グラフ構造に起因する依存性によって標準的な確率的勾配降下法（SGD）が不偏勾配を生成できないという根本的課題を克服する。
• 古典的ERMの主な利点（統計的整合性および不偏な確率的勾配による効率的最適化）を保ちつつ、汎用的かつモデルに依存しない推論手順を開発する。
• 高速なグラフサンプリングスキームと自動微分ツールを統合することで、関係学習タスクにおける実用的でスケーラブルな学習を可能にする。
• 提案されたフレームワーク下での学習埋め込みの収束性および安定性に関する理論的保証を確立する。

提案手法

• 関係データのための経験的リスクを、ランダムに抽出された部分グラフ上の期待損失として定義し、グラフサンプリング手法をリスク定式化に明示的に組み込む。
• サンプリングスキーム（例：均等なエッジまたは頂点サンプリング）をモデル設計のコアな要素として用い、部分グラフ上の損失勾配が全勾配の不偏推定であることを保証する。
• グラフ交換可能性およびグラフンプロセスの理論を活用し、経験的リスクの漸近的挙動を正当化し、推定器の一貫性を確保する。
• サンプリングに基づくリスクおよび勾配計算を自動微分フレームワークと統合し、関係モデルのエンドツーエンドで微分可能な学習を可能にする。
• サンプリングされた部分グラフを関数として目的関数を定式化することで、指定されたサンプリング機構下で不偏性が保証されたミニバッチSGDの適用を可能にする。
• 異なる微分可能なモデルを用いて、1段階の半教師ありノード分類および頂点属性埋め込み学習という2つの非標準的タスクにフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 i.i.d.データ向けの古典的ERMに類似した、関係データ向けの汎用的かつモデルに依存しないERMフレームワークを開発することは可能か？
• RQ2 データが独立な例に分解されない関係学習問題において、不偏な確率的勾配をどのように構築できるか？
• RQ3 関係的文脈において、確率的勾配が全勾配の不偏推定であることを保証するサンプリングスキームは何か？
• RQ4 提案されたフレームワークは、観測グラフのサイズが増大する際、一貫性および収束性を示す推定器をもたらすか？
• RQ5 実際の応用において、サンプリングスキームの選択がモデルの性能および安定性にどのように影響を与えるか？

主な発見

• 提案された関係的ERMフレームワークにより、ランダムに抽出された部分グラフ上で計算される確率的勾配が、全勾配の不偏推定であることが保証され、標準的なミニバッチSGDの使用が可能になる。
• 理論的分析により、損失関数の強い凸性およびヘッセ行列の有界性といった弱い正則性条件のもとで、推定パラメータが期待リスクの真の最小化者に確率的に収束することが示された。
• フレームワークは安定した埋め込みを実現する：サイズ$n$および$n+1$のグラフ上で推定された埋め込みの差が、$n \to \infty$のとき確率的に0に収束する。これは、データサイズの変化に対して強い耐性を示す。
• 実験により、本手法が実用的に有効であることが示された。1段階の半教師ありノード分類および頂点属性埋め込みタスクで優れた性能を達成した。
• サンプリングスキームの選択がモデル性能に顕著な影響を与えることが明らかになった。これにより、サンプリング設計をモデル仕様に統合することが重要であることが示された。
• フレームワークは即時利用可能である：高速なグラフサンプリングと自動微分を組み合わせることで、モデル固有の勾配導出を必要とせず、効率的なオールインワンの学習が可能になる。