[論文レビュー] Submodularity in Batch Active Learning and Survey Problems on Gaussian Random Fields

Yifei Ma, Roman Garnett+1 more|arXiv (Cornell University)|Sep 17, 2012

Machine Learning and Algorithms参考文献 8被引用数 3

ひとこと要約

本稿では、ガウス確率場（GRFs）におけるバッチアクティブラーニングにおけるV最適性基準が、サブモジュラであることを確立し、予算制約下でのサブセット選択に対して$(1 - 1/e)$の保証された近似比を達成する貪欲アルゴリズムの適用を可能にする。さらに、GRFsが抑制要因の不在（AofS）条件を満たすことを証明し、$\bm{1}^T \tilde{\boldsymbol{\theta}} \bm{1}$リスク基準を用いたアクティブサーベイ問題へのサブモジュラリティ結果の拡張も行った。

ABSTRACT

Many real-world datasets can be represented in the form of a graph whose edge weights designate similarities between instances. A discrete Gaussian random field (GRF) model is a finite-dimensional Gaussian process (GP) whose prior covariance is the inverse of a graph Laplacian. Minimizing the trace of the predictive covariance Sigma (V-optimality) on GRFs has proven successful in batch active learning classification problems with budget constraints. However, its worst-case bound has been missing. We show that the V-optimality on GRFs as a function of the batch query set is submodular and hence its greedy selection algorithm guarantees an (1-1/e) approximation ratio. Moreover, GRF models have the absence-of-suppressor (AofS) condition. For active survey problems, we propose a similar survey criterion which minimizes 1'(Sigma)1. In practice, V-optimality criterion performs better than GPs with mutual information gain criteria and allows nonuniform costs for different nodes.

研究の動機と目的

• ガウス確率場（GRFs）におけるバッチアクティブラーニングのV最適性基準に対する理論的最悪ケース近似保証を確立すること。
• GRFsにおけるV最適性基準がサブモジュラであることを示し、貪欲選択による$(1 - 1/e)$近似比を保証すること。
• すべてのGRFモデルが抑制要因の不在（AofS）条件を満たすことを示し、サブモジュラリティを促進し、理論的取り扱いやすさを向上させること。
• 予測リスクを最小化する新しいリスク基準$\bm{1}^T \tilde{\boldsymbol{\theta}} \bm{1}$を導入し、アクティブサーベイ問題へのサブモジュラリティ枠組みの拡張を行うこと。
• 実世界の共同著者グラフ分類タスクにおいて、V最適性が相互情報量の増加とランダム選択を上回ることを実験的に検証すること。

提案手法

• グラフラプラシアン$L = L_0 + \text{diag}(\sigma_i^{-2})$から導出される事前共分散を有する正則化された離散的GRFモデルを形式化する。
• 予測共分散$\Sigma$のトレースを最小化するV最適性基準を定義する。すなわち、$\text{Tr}(\Sigma)$を最小化することで予測分散を低減する。
• スペクトル分解および逆ラプラシアンの性質を用いて、バッチクエリ集合上でのV最適性関数のサブモジュラリティを証明する。
• リスク$R_s(\mathcal{L}) = \bm{1}^T \tilde{L}^{-1} \bm{1}$を有する新しいアクティブサーベイ問題を導入し、同一の条件下でそのサブモジュラリティを証明する。
• ラプラシアン行列の固有値分解を用いて、$R_s(\{v_i\})$の高速評価が可能な効率的アルゴリズム（アルゴリズム3）を構築する。
• バッチアクティブラーニングおよびサーベイ問題の両方に対して、理論的$(1 - 1/e)$近似保証を有する貪欲選択アルゴリズム（アルゴリズム1）を採用する。

実験結果

リサーチクエスチョン

• RQ1 GRFsにおけるV最適性基準はサブモジュラであるか。その場合、バッチアクティブラーニングにおける保証された近似比が達成可能か。
• RQ2 GRFモデルにおいて抑制要因の不在（AofS）条件を保証できるか。また、その条件がサブモジュラリティを保証するか。
• RQ3 実世界のアクティブラーニングタスクにおいて、V最適性基準は相互情報量の増加およびランダム選択を上回るか。
• RQ4 新しいリスク基準$\bm{1}^T \tilde{L}^{-1} \bm{1}$を用いたアクティブサーベイ問題へ、サブモジュラリティ枠組みを拡張できるか。
• RQ5 大規模グラフ上でのV最適性およびサーベイリスク基準の評価における計算効率はいかほどか。

主な発見

• GRFsにおけるV最適性基準は、理論的にサブモジュラであり、予算制約下での貪欲なバッチ選択に対して$(1 - 1/e)$の近似比を保証する。
• すべてのGRFモデルが抑制要因の不在（AofS）条件を満たしており、ガウス過程モデルにおけるサブモジュラリティの一般的かつ検証可能な条件を提供する。
• DBLP共同著者グラフにおけるアクティブラーニングにおいて、提案されたV最適性基準は相互情報量の増加およびランダム選択を上回り、より低い予測分散とより高い分類精度を達成する。
• リスク$R_s(\mathcal{L}) = \bm{1}^T \tilde{L}^{-1} \bm{1}$を有するアクティブサーベイ問題に対しても、サブモジュラリティが成立し、同様に$(1 - 1/e)$の近似保証が貪欲選択によって達成可能である。
• アルゴリズム3により、事前計算されたスペクトル分解を用いて$R_s(\{v_i\})$の評価を効率的に行うことが可能となり、1ノードあたりの評価コストを$O(N^2)$に削減できる。
• DBLP共同著者グラフ（1711ノード、0.3%のエッジ密度）における実験結果は、120回の繰り返しにおいてV最適性の性能向上が一貫して得られ、平均値および標準誤差が報告されている。