[論文レビュー] Regional based query in graph active learning

Roy Abel, Yoram Louzoun|arXiv (Cornell University)|Jun 20, 2019

Advanced Graph Neural Networks参考文献 42被引用数 6

ひとこと要約

本稿では、グラフ畳み込みネットワーク（GCN）向けに、地域ベースのアクティブラーニング手法を提案する。地域内不確実性と適応的PageRankを用いたクエリ戦略を導入し、近隣情報を利用することでラベル効率を向上させる。低ラベル予算下でも、特にCoraでは最大3.5%の精度向上、CiteSeerでは1.5%の向上を達成し、適応的PageRankは5%未満のサンプリング率で最良性能を発揮した。

ABSTRACT

Graph convolution networks (GCN) have emerged as the leading method to classify node classes in networks, and have reached the highest accuracy in multiple node classification tasks. In the absence of available tagged samples, active learning methods have been developed to obtain the highest accuracy using the minimal number of queries to an oracle. The current best active learning methods use the sample class uncertainty as selection criteria. However, in graph based classification, the class of each node is often related to the class of its neighbors. As such, the uncertainty in the class of a node's neighbor may be a more appropriate selection criterion. We here propose two such criteria, one extending the classical uncertainty measure, and the other extending the page-rank algorithm. We show that the latter is optimal when the fraction of tagged nodes is low, and when this fraction grows to one over the average degree, the regional uncertainty performs better than all existing methods. While we have tested this methods on graphs, such methods can be extended to any classification problem, where a distance metrics can be defined between the input samples. All the code used can be accessed at : https://github.com/louzounlab/graph-al All the datasets used can be accessed at : https://github.com/louzounlab/DataSets

研究の動機と目的

• クエリ選択にトポロジー的関係を組み込むことで、グラフ構造データにおける標準的アクティブラーニングの非効率性を是正する。
• 連結されたノード間でのラベル伝搬効果を十分に活用できないノードレベルの不確実性サンプリングの限界を克服する。
• 局所的近隣における高い不確実性領域に焦点を当てることで、ラベル効率を向上させる地域に配慮したクエリ戦略を開発する。
• 情報伝搬が最も重要となる低サンプリング率下で、地域ベースアクティブラーニングが最適であることを実証する。
• 距離メトリクスが定義された任意の分類タスクに適用可能な汎用フレームワークを提供する。グラフに限定されない。

提案手法

• ノードの近隣における局所的予測不確実性を統合する地域不確実性測度を提案し、ノード単位の不確実性を地域不確実性に置き換える。
• 未探索領域にラベル情報を効果的に伝搬させそうなノードを特定する、適応的PageRankに基づくクエリ戦略を導入する。
• 固定半径またはk近傍グラフを用いて、局所的近隣内の予測ラベルのエントロピー関数として地域不確実性を定式化する。
• GCN学習パイプラインに地域クエリ基準を統合し、各オракルクエリ後にモデルを再訓練することで不確実性推定を精緻化する。
• 孤立または重複するノードのクエリを避けるために、地域不確実性と密度重み付けを組み合わせたハイブリッドクエリ戦略を用いる。
• グラフの近接性（エッジまたはk近傍近隣）によって領域を定義することで、距離メトリクスを用いて明示的なグラフ構造を超えて一般化可能にする。

実験結果

リサーチクエスチョン

• RQ1 ノードレベルの不確実性サンプリングと比較して、地域不確実性測度はグラフ構造データにおけるアクティブラーニング性能を向上させるか？
• RQ2 地域ベースアクティブラーニングは、どのラベル予算で従来の不確実性ベース手法を上回るか？
• RQ3 低データ環境下で、適応的PageRankベースのサンプリングは、標準的不確実性および代表的サンプリングと比較してどのように性能を発揮するか？
• RQ4 ラベル付きノードの割合が増加するに従い、地域から局所的クエリ選択に移行する最適な転換点は何か？
• RQ5 提案された地域ベースアクティブラーニングフレームワークは、距離メトリクスが定義された非グラフ分類タスクにも一般化可能か？

主な発見

• 地域エントロピークエリ戦略は、Coraで81.4%、CiteSeerで69.1%の精度を達成し、ChangらやALFNETを含むすべてのベースライン手法を上回った。
• 適応的PageRank（APR）は、Coraで82.7%、CiteSeerで70.5%の最高精度を、低サンプリング率（5%未満）で達成し、ランダムサンプリングやノードレベル不確実性サンプリングを著しく上回った。
• 地域マージンベース手法は、Coraで82.7%、CiteSeerで70.5%の精度を達成し、地域不確実性がノード単位の不確実性よりも情報量が多いことを示した。
• 地域手法による性能向上は、低サンプリング率下で顕著であった。5%を超えると、サンプリングされたノードまでの平均距離が頭打つようになり、地域ターゲティングのリターンが減少した。
• 近隣確率の平均化はランダムサンプリングより劣り、一方で地域内での局所的不確実性の集約は顕著な性能向上をもたらした。
• 地域ベースアクティブラーニングフレームワークはグラフを超えて一般化可能である。距離メトリクスが定義された任意の分類タスクが、地域ベースクエリ選択から利益を得られる。