[論文レビュー] On Learning Graphs with Edge-Detecting Queries

Hasan Abasi, Nader H. Bshouty|arXiv (Cornell University)|Mar 28, 2018

Machine Learning and Algorithms参考文献 9被引用数 7

ひとこと要約

本稿は、エッジ検出クエリを用いた未知のグラフの学習のための新しい確率的アルゴリズムを提示する。各クエリは、頂点の部分集合に少なくとも1本のエッジが含まれるかをチェックする。本稿は2つの未解決問題を解決する：エッジ数 $m$ が未知であっても $O(m\log n)$ クエリで達成できること、およびクエリ複雑性を増加させずにラウンド数を $O(\log^* n)$ に削減できることである。主な貢献は、最適なクエリ数を達成する $O\left(\log^* n\right)$ ラウンドのラスベガスアルゴリズムである。

ABSTRACT

We consider the problem of learning a general graph $G=(V,E)$ using edge-detecting queries, where the number of vertices $|V|=n$ is given to the learner. The information theoretic lower bound gives $m\log n$ for the number of queries, where $m=|E|$ is the number of edges. In case the number of edges $m$ is also given to the learner, Angluin-Chen's Las Vegas algorithm \cite{AC08} runs in $4$ rounds and detects the edges in $O(m\log n)$ queries. In the other harder case where the number of edges $m$ is unknown, their algorithm runs in $5$ rounds and asks $O(m\log n+\sqrt{m}\log^2 n)$ queries. There have been two open problems: \emph{(i)} can the number of queries be reduced to $O(m\log n)$ in the second case, and, \emph{(ii)} can the number of rounds be reduced without substantially increasing the number of queries (in both cases). For the first open problem (when $m$ is unknown) we give two algorithms. The first is an $O(1)$-round Las Vegas algorithm that asks $m\log n+\sqrt{m}(\log^{[k]}n)\log n$ queries for any constant $k$ where $\log^{[k]}n=\log \stackrel{k}{\cdots} \log n$. The second is an $O(\log^*n)$-round Las Vegas algorithm that asks $O(m\log n)$ queries. This solves the first open problem for any practical $n$, for example, $n<2^{65536}$. We also show that no deterministic algorithm can solve this problem in a constant number of rounds. To solve the second problem we study the case when $m$ is known. We first show that any non-adaptive Monte Carlo algorithm (one-round) must ask at least $Ω(m^2\log n)$ queries, and any two-round Las Vegas algorithm must ask at least $m^{4/3-o(1)}\log n$ queries on average. We then give two two-round Monte Carlo algorithms, the first asks $O(m^{4/3}\log n)$ queries for any $n$ and $m$, and the second asks $O(m\log n)$ queries when $n>2^m$. Finally, we give a $3$-round Monte Carlo algorithm that asks $O(m\log n)$ queries for any $n$ and $m$.

研究の動機と目的

• エッジ検出クエリを用いたグラフ学習において、エッジ数 $m$ が未知である場合に、クエリ複雑性を $O(m\log n)$ にまで低減するという未解決問題を解決すること。
• 特に $m$ が未知の場合に、クエリ数を著しく増加させることなく、グラフ学習アルゴリズムのラウンド数を削減すること。
• モンテカルロおよびラスベガスモデル下での非適応的および2ラウンドアルゴリズムのクエリ複雑性に対するタイトな下界を確立すること。
• 特に $n < 2^{65536}$ である実用的状況において、最小限のラウンド数で最適または近似的に最適なクエリ複雑性を達成する効率的なアルゴリズムを設計すること。

提案手法

• クエリの反復的推定を $\log^{[k]}n$ 層の対数的ネスト構造を用いて行い、エッジ検出における誤差を制限する $k$ ラウンドのラスベガスアルゴリズムを提案。これにより、$m\log n + \sqrt{m}(\log^{[k]}n)\log n$ クエリを達成する。
• $\log^* n$ ラウンドのアルゴリズムを導入。頂点の次数を高い確率で推定し、$p$-ランダムクエリを用い、集中限界を活用して非エッジを効率的に特定する。
• $p$ を推定された次数に応じて適応的に選択する $p$-ランダムクエリ戦略を採用。各クエリで非エッジを検出する確率を最大化する。
• 独立集合および近傍解析を用いて、非エッジ検出の成功確率を制限。これにより、各頂点 $u$ に対して $O(d_u \log n)$ クエリで十分であることを保証。
• 確率 $p$ を徐々に減少させながらクエリを生成するレイヤードクエリ戦略を採用。カバー範囲と検出効率のバランスを取る。
• 定数ラウンドで問題を解くことはできない決定的アルゴリズムが存在しないことを証明。これにより、決定的アプローチの根本的な限界が明らかになる。

実験結果

リサーチクエスチョン

• RQ1 エッジ数 $m$ が未知である場合に、情報理論的下界に一致するように、クエリ複雑性を $O(m\log n)$ にまで低減できるか。
• RQ2 $m$ が未知の状況下で、$O(m\log n)$ クエリ複雑性を維持しつつ、ラウンド数を $O(\log^* n)$ にまで削減できるか。
• RQ3 $m$ が既知である場合に、2ラウンドのモンテカルロおよびラスベガスアルゴリズムのクエリ複雑性に対するタイトな下界は何か。
• RQ4 $O(m\log n)$ クエリでグラフ学習を達成できる定数ラウンドの決定的アルゴリズムは存在するか。

主な発見

• $m$ が未知の状況下で、$O(\log^* n)$ ラウンドのラスベガスアルゴリズムが $O(m\log n)$ クエリでグラフ学習を達成でき、$n < 2^{65536}$ のすべての実用的 $n$ に対して最初の未解決問題が解決された。
• 任意の定数 $k$ に対して、$k$ ラウンドのラスベガスアルゴリズムが $m\log n + \sqrt{m}(\log^{[k]}n)\log n$ クエリを達成する。これは、以前の $O(m\log n + \sqrt{m}\log^2 n)$ の境界を改善する。
• 定数ラウンドで問題を解くことはできない決定的アルゴリズムが存在しない。これは、決定的アプローチの根本的な限界を示している。
• $m$ が既知の場合、任意の非適応的モンテカルロアルゴリズムは $\Omega(m^2\log n)$ クエリを必要とし、任意の2ラウンドのラスベガスアルゴリズムは平均で $m^{4/3-o(1)}\log n$ クエリを必要とする。
• 3ラウンドのモンテカルロアルゴリズムは、任意の $n$ および $m$ に対して $O(m\log n)$ クエリを達成する。2ラウンドのモンテカルロアルゴリズムは、すべての $n$ および $m$ に対して $O(m^{4/3}\log n)$ クエリを達成する。
• $n > 2^m$ の場合、2ラウンドのモンテカルロアルゴリズムは $O(m\log n)$ クエリを達成する。これは、特定のパrameter設定下ではクエリ複雑性が最適である可能性を示している。