[論文レビュー] mvn2vec: Preservation and Collaboration in Multi-View Network Embedding

Yu Shi, Fangqiu Han+5 more|arXiv (Cornell University)|Jan 19, 2018

Advanced Graph Neural Networks参考文献 53被引用数 57

ひとこと要約

この論文は保存と協調を多視点ネットワーク埋め込みの主要な目的として特定し、それらを同時にモデル化する mvn2vec-con と mvn2vec-reg を提案して、共同モデリングが有効な場合を実験で示します。

ABSTRACT

Multi-view networks are broadly present in real-world applications. In the meantime, network embedding has emerged as an effective representation learning approach for networked data. Therefore, we are motivated to study the problem of multi-view network embedding with a focus on the optimization objectives that are specific and important in embedding this type of network. In our practice of embedding real-world multi-view networks, we explicitly identify two such objectives, which we refer to as preservation and collaboration. The in-depth analysis of these two objectives is discussed throughout this paper. In addition, the mvn2vec algorithms are proposed to (i) study how varied extent of preservation and collaboration can impact embedding learning and (ii) explore the feasibility of achieving better embedding quality by modeling them simultaneously. With experiments on a series of synthetic datasets, a large-scale internal Snapchat dataset, and two public datasets, we confirm the validity and importance of preservation and collaboration as two objectives for multi-view network embedding. These experiments further demonstrate that better embedding can be obtained by simultaneously modeling the two objectives, while not over-complicating the model or requiring additional supervision. The code and the processed datasets are available at http://yushi2.web.engr.illinois.edu/.

研究の動機と目的

• 実世界の実践に基づき、多視点ネットワーク埋め込みに特有の目的（保存と協調）を特定する。
• 保存と協調が共存する場合を分析し、それらが埋め込み品質にどう影響するかを検討する。
• 追加の監視なしで、両方の目的をモデル化する mvn2vec-con と mvn2vec-reg を提案する。
• 合成データセットと実データセットの両方で、保存と協調の程度の違いが埋め込み性能にどう影響するかを評価する。

提案手法

• 各ビューの多視点ネットワークと中心/文脈埋め込みを定義する。
• ビュー固有の構造を保存するために、 intra-view skip-gram スタイルの損失を導入する。
• mvn2vec-con を、共有パラメータ（theta が共有を制御）を用いた制約付きのクロスビュー文脈埋め込みで協調を促進する手法として提案する。
• mvn2vec-reg を、視点固有の埋め込みを保持しつつ協調を促進するペナルティ項 gamma によるクロスビュー正則化を提案する。
• スケーラブルな最適化のために、ランダムウォークに基づくサンプリングとネガティブサンプリング（skip-gram）を使用する。
• mvn2vec-con および mvn2vec-reg の勾配を伴う ASGD 最適化を提供し、複合性について議論する。

実験結果

リサーチクエスチョン

• RQ1 多視点ネットワーク埋め込みにおける2つの目的（保存と協調）は何か、そしてそれらはなぜ重要か？
• RQ2 保存と協調を共同モデリングすることで、片方の目的に焦点を当てたモデルよりも良い埋め込みが得られるのか？
• RQ3 mvn2vec-con と mvn2vec-reg は追加の監視なしでこれらの目的をどのように実装できるのか？
• RQ4 合成データセットと実世界の多視点ネットワークで、下流タスクにおけるこれらの方法の性能はどうなるのか？

主な発見

データセット	指標	独立	1スペース
YouTube	ROC-AUC	0.931	0.914
YouTube	PRC-AUC	0.745	0.702
Twitter	ROC-AUC	0.724	0.737
Twitter	PRC-AUC	0.447	0.466

• 保存と協調は双方とも影響力があり、相対的重要性はデータに依存する（例：YouTube 対 Twitter）。
• 共同モデリング（mvn2vec-con または mvn2vec-reg）は、協調が有用な場合に単一目的アプローチより優れた埋め込みを提供し得る一方、視点固有の意味を保持する方が有利なケースもある。
• 合成データと実データセットでの実験により、提案モデルは保存と協調の両方を取り入れる有用性を検証している。
• 単純な独立モデルは保存を優先し、1スペースモデルは協調を強調する傾向があり、mvn2vec の派生は両者のバランスを取る。