[論文レビュー] ActiveHNE: Active Heterogeneous Network Embedding

Xia Chen, Guoxian Yu+4 more|arXiv (Cornell University)|May 14, 2019

Advanced Graph Neural Networks参考文献 23被引用数 9

ひとこと要約

ActiveHNEは、不均質なネットワーク埋め込みのための画期的なアクティブラーニングフレームワークを提案する。これは、半教師ありグラフ畳み込みネットワークと、不確実性および代表性に基づくアクティブクエリ戦略を組み合わせたものである。マルチアームド・バンディットを用いて、最も情報量の多いノードを動的に選択することで、実世界のHINにおいて、顕著に低いラベル付けコストで最先端の性能を達成している。

ABSTRACT

Heterogeneous network embedding (HNE) is a challenging task due to the diverse node types and/or diverse relationships between nodes. Existing HNE methods are typically unsupervised. To maximize the profit of utilizing the rare and valuable supervised information in HNEs, we develop a novel Active Heterogeneous Network Embedding (ActiveHNE) framework, which includes two components: Discriminative Heterogeneous Network Embedding (DHNE) and Active Query in Heterogeneous Networks (AQHN). In DHNE, we introduce a novel semi-supervised heterogeneous network embedding method based on graph convolutional neural network. In AQHN, we first introduce three active selection strategies based on uncertainty and representativeness, and then derive a batch selection method that assembles these strategies using a multi-armed bandit mechanism. ActiveHNE aims at improving the performance of HNE by feeding the most valuable supervision obtained by AQHN into DHNE. Experiments on public datasets demonstrate the effectiveness of ActiveHNE and its advantage on reducing the query cost.

研究の動機と目的

• ラベル付きデータの制限という課題に取り組む。不均質なネットワーク埋め込み（HNE）において、ラベルの取得は高コストで時間がかかる。
• 既存の非教師ありHNE手法の限界を克服するため、監視付き情報を効果的に統合する。
• ノードの不均質性と構造的依存関係を考慮した、不均質ネットワークに特化したアクティブラーニング戦略を設計する。
• ラベル付けのコストを最小限に抑えながら、埋め込み性能を最大化するため、最も情報量の多いノードを選択する。

提案手法

• 多様なノードタイプと関係性を扱うために、元の不均質情報ネットワーク（HIN）を同型および二部グラフの部分ネットワークに分解する。
• 部分ネットワークを横断して特徴を集約することでノード表現を学ぶ、半教師ありGCNベースのモデル「判別的不均質ネットワーク埋め込み（DHNE）」を提案する。
• 3つのアクティブ選択戦略を導入する：ネットワーク中心性（NC）、畳み込み的情報エントロピー（CIE）、畳み込み的情報密度（CID）。これらはすべて、局所的なグラフ畳み込みを用いて不確実性と代表性を評価する。
• 3つの戦略をマルチアームド・バンディット機構を用いて統合し、バッチ形式のアクティブラーニングを実行する。これにより、ノード選択における探索と活用のバランスが取れる。
• バンディット方策によって特定された最も価値のあるノードのラベルを繰り返しクエリし、更新されたラベルでDHNEを再訓練する。
• 隣接ノードのタイプの多様性と次数に基づくノードの重要度指標を、畳み込みフィルタ内に組み込むことで、ネットワークの不均質性と構造への感受性を高める。

実験結果

リサーチクエスチョン

• RQ1 多様なノードタイプと関係性を持つ不均質ネットワークに、アクティブラーニングをどのように効果的に適応できるか？
• RQ2 不確実性と代表性の両方を考慮した場合、HINにおける最も情報量の多いノードを特定するのに最も効果的な選択戦略は何か？
• RQ3 マルチアームド・バンディットフレームワークは、複数の選択基準を動的にバランスさせることで、HNEにおけるアクティブラーニングの効率性と性能を向上させられるか？
• RQ4 ActiveHNEは、ベースライン手法と比較して、ラベル付けコストをどの程度削減しながら、埋め込み精度を維持または向上できるか？
• RQ5 グラフ畳み込みにおける近傍順序（K）の選択は、ActiveHNEの性能にどの程度敏感か？

主な発見

• MovieLens、Cora、DBLPのデータセットにおいて、ActiveHNEは最先端の手法と同等または優れた分類精度を達成しており、ほとんどの比較でp値 < 3×10⁻⁶を示している。
• フレームワークは、ベースラインのアクティブラーニング手法と比較して、収束が早く、ラベル付けの必要数も少ないことから、クエリコストを顕著に削減している。
• マルチアームド・バンディットを用いた選択戦略（NC、CIE、CID）の統合は、個別の戦略よりも高い累積報酬と優れた性能をもたらし、重複するノード選択のため報酬の合計が1を超える（≥1）ことが確認された。
• ネットワーク中心性（NC）は、初期段階で埋め込みの精度が低い場合に寄与が大きいが、ラベル付きデータが増えるにつれてCIEとCIDの信頼性が高まるため、その重要性は時間とともに低下する。
• 最適な近傍順序（K）はデータセットによって異なる：MovieLensではK=1が最良で、CoraではK=2が優れている。これは、高階の構造が常に有益であるとは限らないことを示している。
• DHNEはmetapath2vecとHHNEよりも高速であり、AQHNはAGEとANRMABよりも遅いが、より効果的なノードを選択することで、優れた埋め込み性能を達成している。