[論文レビュー] Graphs in machine learning: an introduction

Pierre Latouche, Fabrice Rossi|arXiv (Cornell University)|Jun 23, 2015

Complex Network Analysis Techniques参考文献 64被引用数 9

ひとこと要約

本稿は、クラスタリング、可視化、グラフ比較をカバーする、教師なしおよび教師ありの両方のタスクにおけるグラフベースの機械学習手法を紹介する。静的および動的グラフの両方の技術を提示し、モジュラリティに基づくコミュニティ検出、グラフカーネル、編集距離に注目する。関係データおよび進化するネットワークへの応用を含む。

ABSTRACT

Graphs are commonly used to characterise interactions between objects of interest. Because they are based on a straightforward formalism, they are used in many scientific fields from computer science to historical sciences. In this paper, we give an introduction to some methods relying on graphs for learning. This includes both unsupervised and supervised methods. Unsupervised learning algorithms usually aim at visualising graphs in latent spaces and/or clustering the nodes. Both focus on extracting knowledge from graph topologies. While most existing techniques are only applicable to static graphs, where edges do not evolve through time, recent developments have shown that they could be extended to deal with evolving networks. In a supervised context, one generally aims at inferring labels or numerical values attached to nodes using both the graph and, when they are available, node characteristics. Balancing the two sources of information can be challenging, especially as they can disagree locally or globally. In both contexts, supervised and un-supervised, data can be relational (augmented with one or several global graphs) as described above, or graph valued. In this latter case, each object of interest is given as a full graph (possibly completed by other characteristics). In this context, natural tasks include graph clustering (as in producing clusters of graphs rather than clusters of nodes in a single graph), graph classification, etc. 1 Real networks One of the first practical studies on graphs can be dated back to the original work of Moreno [51] in the 30s. Since then, there has been a growing interest in graph analysis associated with strong developments in the modelling and the processing of these data. Graphs are now used in many scientific fields. In Biology [54, 2, 7], for instance, metabolic networks can describe pathways of biochemical reactions [41], while in social sciences networks are used to represent relation ties between actors [66, 56, 36, 34]. Other examples include powergrids [71] and the web [75]. Recently, networks have also been considered in other areas such as geography [22] and history [59, 39]. In machine learning, networks are seen as powerful tools to model problems in order to extract information from data and for prediction purposes. This is the object of this paper. For more complete surveys, we refer to [28, 62, 49, 45]. In this section, we introduce notations and highlight properties shared by most real networks. In Section 2, we then consider methods aiming at extracting information from a unique network. We will particularly focus on clustering methods where the goal is to find clusters of vertices. Finally, in Section 3, techniques that take a series of networks into account, where each network is

研究の動機と目的

• 本分野に初めて関わる研究者に対して、グラフベースの機械学習手法について包括的な紹介を提供すること。
• 静的および進化するネットワークの両方において、グラフのトポロジーから知識を抽出する課題に対処すること。
• 教師なしグラフ解析と、ノードラベルやグラフレベルの予測を伴う教師あり学習タスクの間のギャップを埋めること。
• 機械学習パイプラインにおける関係データ（グラフで拡張されたもの）およびグラフ値データの統合を検討すること。
• グラフ比較の複雑さ、特に同型性と編集距離を強調し、カーネル手法におけるその役割を明らかにすること。

提案手法

• 隣接行列を用いてグラフを表現し、二値または重み付きの辺に加え、任意の頂点・辺ラベルを含む。
• コミュニティ検出にはモジュラリティ最大化と潜在的位置クラスタモデル（LPCM）を適用する。
• グラフの比較には、頂点・辺の操作の最小コスト列による変換を用いる編集距離を用いる。
• 非ベクトルのグラフデータにベクトル空間手法を一般化するために、積グラフ上のランダムウォークに基づくグラフカーネルを用いる。
• ノード特徴量とグラフ構造を統合し、両者を学習においてバランスさせる。
• エッジおよびネットワーク構造の時間的進化を考慮することで、動的グラフへと手法を拡張する。

実験結果

リサーチクエスチョン

• RQ1 グラフトポロジーは、ネットワーク内の隠れたコミュニティ構造をどのように活用できるか？
• RQ2 同型性を検出・処理する必要がある場合、グラフを比較する有効な手法は何か？
• RQ3 関係データにおける教師あり学習タスクで、ノード特徴量とグラフ構造をどのようにバランスさせるか？
• RQ4 正確なグラフ同型性および部分グラフ同型性の制限および計算上の課題は何か？
• RQ5 グラフカーネルおよび編集距離は、標準的な機械学習アルゴリズムをグラフ構造データに一般化するためにどのように利用できるか？

主な発見

• 大多数の現実世界のネットワークはスパarsityを示し、巨大連結成分を有し、次数の非一様性と、最短経路がO(log N)スケーリングするスモールワールド性を示す。
• モジュラリティに基づく手法と潜在的位置クラスタモデルは、内部に密な接続とグループ間の疎な接続を持つコミュニティを効果的に検出できる。
• 編集距離は、最小コスト変換列によるグラフ間の類似度を測る一般枠組みを提供する。
• 積グラフ上のランダムウォークに基づくグラフカーネルにより、SVM やカーネルk-meansなどのカーネル手法をグラフデータに適用できる。
• グラフ同型性問題は依然として計算的に困難であり、最良の既知の境界はO(2^√(n log n))である。部分グラフ同型性はNP完全である。
• 関係データおよびグラフ値データの設定では、ノード特徴量と構造的情報の統合に注意が必要であり、特に両者が矛盾する場合に顕著である。