[論文レビュー] Active Learning for Hidden Attributes in Networks

Xiaoran Yan, Yaojia Zhu+2 more|arXiv (Cornell University)|May 5, 2010

Machine Learning and Algorithms参考文献 19被引用数 4

ひとこと要約

本稿では、ネットワークのトポロジーと相関する隠れ頂点属性を推定するためのアクティブラーニング手法を、確率的ブロックモデルを用いて提案している。属性はネットワークのトポロジーと関連している。2つのクエリ戦略——ギブスサンプリングにおける相互情報量の最大化および平均一致の最大化——を導入し、特に食物連鎖のような複雑なネットワークにおいて、次数や媒介性中心性といった単純なヒューリスティクスよりも、初期段階で情報の多い頂点を顕著に効果的に特定できる。

ABSTRACT

In many networks, vertices have hidden attributes, or types, that are correlated with the networks topology. If the topology is known but these attributes are not, and if learning the attributes is costly, we need a method for choosing which vertex to query in order to learn as much as possible about the attributes of the other vertices. We assume the network is generated by a stochastic block model, but we make no assumptions about its assortativity or disassortativity. We choose which vertex to query using two methods: 1) maximizing the mutual information between its attributes and those of the others (a well-known approach in active learning) and 2) maximizing the average agreement between two independent samples of the conditional Gibbs distribution. Experimental results show that both these methods do much better than simple heuristics. They also consistently identify certain vertices as important by querying them early on.

研究の動機と目的

• クエリコストが高く、トポロジーは既知である状況において、隠れ頂点属性を推定する課題に対処すること。
• 正確な属性予測に必要なクエリ回数を最小限に抑えるために、最も情報の多い頂点を選択するアクティブラーニング戦略を開発すること。
• 情報理論的およびサンプリングベースの基準が、標準的な中心性ヒューリスティクスよりも頂点選択において優れているかどうかを評価すること。
• 実世界のネットワークにおける、異なる隠れ属性に対して、クエリ順序の頑健性と一貫性を評価すること。
• 提案手法のスケーラビリティおよび一般化可能性を、標準的な確率的ブロックモデルを超えて検討すること。

提案手法

• 本手法は、エッジ確率が頂点タイプに依存する確率的ブロックモデルを仮定し、エッジ確率に一様事前分布を適用することで、タイプ割り当ての尤度を計算する。
• ギブスサンプリングを用いて頂点タイプの事後分布を近似し、クエリ選択のための相互情報量および平均一致の推定を可能にする。
• 最初のクエリ戦略は、頂点のタイプと未クエリ頂点のタイプとの間の相互情報量を最大化するもので、事後分布に基づく。
• 2番目の戦略は、未クエリ頂点の条件付きギブス分布からの2つの独立サンプル間の平均一致を最大化するものである。
• 両手法は反復的に適用され、各クエリ後にネットワークトポロジーと部分的なタイプ割り当てが更新される。
• 性能評価には、精度の閾値およびクエリ順序と実際の属性タイプとの相関係数を用いる。

実験結果

リサーチクエスチョン

• RQ1 相互情報量および平均一致基準は、隠れ属性を持つネットワークにおいて、最も情報の多い頂点を効果的に特定できるか？
• RQ2 提案されたアクティブラーニング手法は、次数や媒介性といった単純な中心性ヒューリスティクスと比較して、クエリ効率および精度において優れているか？
• RQ3 摂食タイプや生息地といった異なる隠れ属性に対するクエリ順序はどの程度相関しており、これはネットワーク構造の背後にある性質を何を示唆するか？
• RQ4 アクティブラーニング手法の性能は、スパarsityや次数の不均一性といったネットワーク構造に依存するか？
• RQ5 これらの手法は、次数補正付き確率的ブロックモデルのようなより複雑なモデルへ一般化可能か？

主な発見

• ザッカリーのカーリング・クラブネットワークにおいて、相互情報量（MI）および平均一致（AA）手法は、90％の精度に到達するまでのクエリ回数を、次数、媒介性、ランダムヒューリスティクスよりも顕著に削減した。
• ウェッデル海の食物連鎖ネットワークにおいても、MIとAAは複雑さにもかかわらず高い性能を示し、異なる属性のクエリ順序間でピアソン相関係数0.553を示した。これは、構造的重みの共通性を示している。
• 摂食タイプと生息地という2つの属性は、調整済み相互情報量が0.357と低く、相関性が低いことが示された。これは、クエリ順序の相関が属性の類似性ではなく、ネットワークトポロジーに起因していることを示唆している。
• MIとAAにはバーンインフェーズが必要であり、性能は時間経過とともに向上した。一方、ランダムクエリは初期段階で驚くほど良好な性能を示し、未クエリの低次数頂点の影響が初期予測に敏感であることを示唆している。
• 複数回の実行において、両手法は一貫して同じ頂点を重要視しており、クエリ順序選択の頑健性を示している。
• 本研究は、情報理論的およびサンプリングベースの基準が、属性付きネットワークにおけるアクティブラーニングにおいて、標準的な中心性測度を上回る有効性を持つことを示唆している。