[論文レビュー] On Exact Learning Monotone DNF from Membership Queries

Hasan Abasi, Nader H. Bshouty+1 more|arXiv (Cornell University)|May 5, 2014

Machine Learning and Algorithms参考文献 13被引用数 5

ひとこと要約

本稿では、サイズが最大 $ r $ の項を最大 $ s $ 個もつ単調 DNF 公式の正確な学習のための、ほぼ最適な決定的および確率的適応的アルゴリズムを提示する。この手法は、エッジ検出クエリを用いたハイパーグラフ学習とカバー自由族を活用し、固定された $ r $ および $ s $ に対して漸近的にタイトなクエリ複雑性を達成する。アルゴリズムはクエリ数および $ n $ に対して線形時間で実行され、$ r > s $ および $ r \leq s $ の両方の状況において、ほぼ最適性を達成する。主な貢献は、固定パラメータ下での両方の領域において、タイトな境界を確立することにある。

ABSTRACT

In this paper, we study the problem of learning a monotone DNF with at most $s$ terms of size (number of variables in each term) at most $r$ ($s$ term $r$-MDNF) from membership queries. This problem is equivalent to the problem of learning a general hypergraph using hyperedge-detecting queries, a problem motivated by applications arising in chemical reactions and genome sequencing. We first present new lower bounds for this problem and then present deterministic and randomized adaptive algorithms with query complexities that are almost optimal. All the algorithms we present in this paper run in time linear in the query complexity and the number of variables $n$. In addition, all of the algorithms we present in this paper are asymptotically tight for fixed $r$ and/or $s$.

研究の動機と目的

• メンバークエリを用いた $ s $ 項 $ r $-MDNF 公式の正確な学習における既知の下界と上界のギャップを埋めること。
• クエリ複雑性がほぼ最適となる、決定的および確率的適応的アルゴリズムを効率的に開発すること。
• $ r > s $ および $ r \leq s $ の両ケースにおいて、タイトなクエリ複雑性の境界を確立し、$ r $ および $ s $ が固定された場合に漸近的にタイトであることを達成すること。
• クエリ複雑性および変数の数 $ n $ に対して線形時間で実行されるアルゴリズムを提供し、実用的な効率性を保証すること。

提案手法

• 問題は、各ハイパーエッジが単調 DNF の項に対応する、次元 $ r $ のハイパーグラフの学習に還元される。
• $ r < s $ の場合、アルゴリズムは $ \sqrt{s/d} $-頻度の変数集合を用い、新しい項を効率的に特定するためのカバー自由族（CFF）を構築する。
• 重要な技術として、条件付きクエリを用いた再帰的学習が用いられる：頻度の高い変数の各部分集合 $ R \subseteq S $ に対して、$ R $ で固定された $ A $ に対して関数 $ f(A) $ をクエリすることで、問題のサイズを小さくする。
• 確率的アルゴリズムでは、成功確率 $ 1 - \delta/s $ でランダムに CFF を構築し、確率的解析によりよりタイトな境界を得る。
• クエリ複雑性は、二項係数および CFF のサイズに関する組合せ的推定を用いて境界づけられ、$ (r/s)^{s-1} $ および $ (s+r)^{r/2} $ の項を含む式が得られる。
• すべてのアルゴリズムは、クエリ数および $ n $ に対して線形時間で実行されるように設計されており、クエリ数以上の効率性を保証する。

実験結果

リサーチクエスチョン

• RQ1 固定された $ r $ および $ s $ の場合、メンバークエリを用いた $ s $-項 $ r $-MDNF 公式の学習における最適なクエリ複雑性は何か？
• RQ2 決定的および確率的適応的アルゴリズムは、$ r > s $ および $ r \leq s $ の両方の状況において、漸近的にタイトなクエリ複雑性を達成できるか？
• RQ3 カバー自由族は、メンバークエリからの単調 DNF の学習において、クエリ数を効果的に削減するためにどのように活用できるか？
• RQ4 この学習問題における既知の下界と上界のギャップは何か？そして、それを埋めることは可能か？
• RQ5 より良い決定的構成によるカバー自由族の構築は、この問題に対するより優れた決定的アルゴリズムをもたらすか？

主な発見

• $ r < s $ の場合、本稿では下界 $ \Omega((r/s)^{s-1} + rs\log n) $ を確立し、これは確率的アルゴリズムの上界と $ (r/s)^{s-1+o(1)} $ のオーダーで一致する。
• アルゴリズム III（確率的）は、$ O\left(\left(\frac{r}{s}\right)^{s-1+o(1)} + rs\log n\right) $ のメンバークエリを達成し、$ r < s $ の場合ほぼ最適である。
• $ r \geq s $ の場合、決定的アルゴリズム IV は $ O((crs)^{r/2+1.5} + rs\log n) $ のクエリを達成し、確率的アルゴリズム V は $ O((c's)^{r/2+0.75} + rs\log n) $ を達成する。両者とも、下界 $ \Omega((2s/r)^{r/2} + rs\log n) $ にほぼ一致する。
• すべてのアルゴリズムは、クエリ複雑性および $ n $ に対して線形時間で実行され、実用的な効率性を保証する。
• 本稿では、$ r = o(s\log s \log\log s) $ の場合、サイズ $ (r/s)^{s-1+o(1)} $ の $ (sr, (s-1,r)) $-カバー自由族を線形時間で構築できることを示し、この場合にアルゴリズム II がほぼ最適であることを示している。
• パラメータ $ r $ および $ s $ が固定された場合、クエリ複雑性の境界は漸近的にタイトであり、主な項を除き、ギャップは $ c^s $ または $ r^{r/2} $ の形に限られる。これは主な項に対しては小さいと見なされる。