[論文レビュー] Robust Graph Embedding with Noisy Link Weights

Akifumi Okuno, Hidetoshi Shimodaira|arXiv (Cornell University)|Feb 22, 2019

Advanced Graph Neural Networks被引用数 5

ひとこと要約

本稿では、尤度に基づくグラフ埋め込み（GE）の代替として、ノイズの多いリンク重みの影響を軽減するための、β-グラフ埋め込み（β-GE）を提案する。この手法は、損失関数として経験的モーメントβスコア（EMBS）を導入し、計算的に効率的なミニバッチ確率的アルゴリズムにより実装されており、理論的にEMBSの局所的最小化が保証されている。ノイズが多い環境下でも標準的な尤度ベースのGEを上回る性能を示し、同時に計算の扱いやすさと分布の柔軟性を維持している。

ABSTRACT

We propose $β$-graph embedding for robustly learning feature vectors from data vectors and noisy link weights. A newly introduced empirical moment $β$-score reduces the influence of contamination and robustly measures the difference between the underlying correct expected weights of links and the specified generative model. The proposed method is computationally tractable; we employ a minibatch-based efficient stochastic algorithm and prove that this algorithm locally minimizes the empirical moment $β$-score. We conduct numerical experiments on synthetic and real-world datasets.

研究の動機と目的

• 実世界のグラフにおけるノイズの多いリンク重みがグラフ埋め込みの性能を低下させることに対処すること。
• 外れ値やリンク重みの汚染に対して不変であるような、理論的にロバストな損失関数の開発。
• リンク重みの生成に関する分布的仮定を避ける一方で、計算の扱いやすさを保証すること。
• 既存の尤度ベースのグラフ埋め込みに、モーメントβスコアを用いたロバスト性を統合すること。
• 局所的最適解に収束する確率的最適化フレームワークの提供。

提案手法

• 期待されるリンク重みの差を測る経験的モーメントβスコア（EMBS）を提案し、完全な確率分布ではなく、期待値の差に基づくロバストな損失関数を構築する。
• 負の対数尤度の代わりにEMBSを損失関数として用い、β → 0 の極限で元の尤度関数に還元されることで、既存のGEフレームワークとの互換性を保つ。
• EMBSを効率的に最適化するためのミニバッチベースの確率的アルゴリズムを採用し、大規模グラフへのスケーラビリティを実現する。
• サンプリングされたリンクペアの期待値を用いてEMBSの勾配を導出し、理論的収束保証を伴う確率的更新を可能にする。
• 観測済み（正例）と未観測（負例）のリンクペアを組み合わせたハイブリッド目的関数を導入し、βに依存する重みを付与する。
• 滑らかさと強い凸性の標準的仮定の下で、確率的アルゴリズムが局所的最小化子に収束することを理論的に確立する。

実験結果

リサーチクエスチョン

• RQ1 ノイズの多いリンク重みの影響を最小化するロバストな損失関数を設計することは可能か？
• RQ2 汚染された環境下でも、尤度ベースのグラフ埋め込みの代替として、計算的に効率的かつ分布に依存しない代替法を構築することは可能か？
• RQ3 標準的な仮定の下で、EMBSに基づく最適化が意味のある局所的最適解に収束するか？
• RQ4 ノイズの多いリンク重みが存在する状況下で、β-GEは標準的な尤度ベースのGEと比べてどのように性能を発揮するか？
• RQ5 リンク重みが汚染されても、元のクラスタ構造を保持できるか？

主な発見

• β-GEは、汚染されたリンク重みを持つ合成グラフにおいて、特にβ = 1.0のとき、真のクラスタ構造を回復することができ、クラスタリング性能が著しく向上する。
• βスコア機構により、極端なまたは汚染されたリンク重みの影響を低減することで、外れ値に対してロバストであることが実証された。
• ミニバッチ確率的アルゴリズムは、滑らかさと強い凸性の標準的仮定の下で、EMBSの局所的最小化子に局所的に収束することが理論的に保証されている。
• EMBSは計算的に扱いやすく、従来の尤度ベース手法とは異なりリンク重みの分布的仮定を必要としない。
• β → 0 の極限で、EMBSは負の対数尤度に還元されるため、ノイズのない状況では既存のGE手法と整合性を保つ。
• 実世界のデータセットにおける実験結果から、β-GEはノイズ環境下でも性能を維持または向上させ、実用的なロバスト性を示している。