[論文レビュー] Optimal Collusion-Free Teaching

David Kirkpatrick, Hans Ulrich Simon+1 more|arXiv (Cornell University)|Mar 10, 2019

Machine Learning and Algorithms被引用数 4

ひとこと要約

本稿では、GoldmanとMathiasの基準に基づく、衝突のない教示の最小可能な教示次元を達成する、新たな衝突のない教示モデル「ノクラッシュ教示」を提案する。このモデルは、すべての同様のモデルの中で教示次元が最小であることを証明しており、その教示次元NCTD(C)が、いかなる他の衝突のないモデルよりも常に小さいか等しいことを示している。また、二部グラフにおける制約付きマッチングとサンプル圧縮との関係を確立している。

ABSTRACT

Formal models of learning from teachers need to respect certain criteria to avoid collusion. The most commonly accepted notion of collusion-freeness was proposed by Goldman and Mathias (1996), and various teaching models obeying their criterion have been studied. For each model $M$ and each concept class $\mathcal{C}$, a parameter $M$-$\mathrm{TD}(\mathcal{C})$ refers to the teaching dimension of concept class $\mathcal{C}$ in model $M$---defined to be the number of examples required for teaching a concept, in the worst case over all concepts in $\mathcal{C}$. This paper introduces a new model of teaching, called no-clash teaching, together with the corresponding parameter $\mathrm{NCTD}(\mathcal{C})$. No-clash teaching is provably optimal in the strong sense that, given any concept class $\mathcal{C}$ and any model $M$ obeying Goldman and Mathias's collusion-freeness criterion, one obtains $\mathrm{NCTD}(\mathcal{C})\le M$-$\mathrm{TD}(\mathcal{C})$. We also study a corresponding notion $\mathrm{NCTD}^+$ for the case of learning from positive data only, establish useful bounds on $\mathrm{NCTD}$ and $\mathrm{NCTD}^+$, and discuss relations of these parameters to the VC-dimension and to sample compression. In addition to formulating an optimal model of collusion-free teaching, our main results are on the computational complexity of deciding whether $\mathrm{NCTD}^+(\mathcal{C})=k$ (or $\mathrm{NCTD}(\mathcal{C})=k$) for given $\mathcal{C}$ and $k$. We show some such decision problems to be equivalent to the existence question for certain constrained matchings in bipartite graphs. Our NP-hardness results for the latter are of independent interest in the study of constrained graph matchings.

研究の動機と目的

• GoldmanとMathiasの衝突のなさ基準の下で達成可能な最小の教示複雑性を特定すること。
• この最小複雑性を明示的に達成する新たな教示モデル「ノクラッシュ教示」を定義すること。
• ノクラッシュ教示、VC次元、およびサンプル圧縮の間の理論的関係を確立すること。
• 与えられた概念クラスCと整数kに対して、NCTD(C) = k または NCTD⁺(C) = k であるかどうかを決定する問題の計算複雑性を分析すること。
• ノクラッシュ教示と二部グラフにおける制約付きマッチングとの関係を調査すること

提案手法

• 2つの異なる概念がそれらの教示集合の和集合に対して一貫していることのない条件を満たす、新たな衝突のない教示モデル「ノクラッシュ教示」を提案する。
• ノクラッシュ教示次元NCTD(C)を、このモデル下でクラスCの任意の概念を教示するために必要な最小の例数として定義する。
• 概念クラスから構築された二部グラフにおける一対一対応関係として、ノクラッシュ教示と一意に制限されたマッチングを確立する。
• 決定問題NCTD(C) = k（またはNCTD⁺(C) = k）を、関連する二部グラフにおけるサイズkの制約付きマッチングの存在問題に還元する。
• 次数1の頂点を反復的に削除する手法に基づき、二部グラフにサイズ|V₀|の一意に制限されたマッチングが存在するかを判定する線形時間アルゴリズムを開発する。
• このアルゴリズムを用いて、関連する二部グラフのサイズに比例する線形時間でNCTD(C) ≤ kを決定する

実験結果

リサーチクエスチョン

• RQ1 GoldmanとMathiasの基準に基づくすべての衝突のない教示モデルの中で、達成可能な最小の教示次元は何か？
• RQ2 ノクラッシュ教示モデルは、二部グラフにおける制約付きマッチングといった組合せ的構造によって特徴付けられるか？
• RQ3 決定問題NCTD(C) = kは計算的に容易に解けるか？ また、グラフ理論における既知の問題とどのように関係しているか？
• RQ4 ノクラッシュ教示次元NCTD(C)は、CのVC次元に比例して線形に増加するのか、それともその関数によって有界であるのか？
• RQ5 ノクラッシュ教示は、最小のサンプル圧縮スキームのサイズに関する洞察を提供できるか？

主な発見

• ノクラッシュ教示は、証明的に最適である：任意の概念クラスCと任意の衝突のない教示モデルMに対して、NCTD(C) ≤ M-TD(C)が成り立つ。
• 決定問題NCTD(C) = kは、Cから導出される二部グラフにおけるサイズkの一意に制限されたマッチングの存在と同値である。
• サイズkのマッチングが存在するかどうかを判定する問題は、kが入力に含まれる場合でさえNP完全である。
• 次数1の頂点を反復的に削除する手法に基づき、二部グラフにサイズ|V₀|の一意に制限されたマッチングが存在するかを判定する線形時間アルゴリズムが存在する。
• 同様のアルゴリズム的手法は、正例のみを含む変種NCTD⁺(C)に対しても適用可能であり、サイズが最大kの正例のみを含むように二部グラフを変更することで実現できる。
• これらの結果により、ノクラッシュ教示、制約付きマッチング、およびサンプル圧縮との強い関係が確立され、ノクラッシュ教示がVC次元の線形バインドと圧縮スキームに関する未解決問題を解消する可能性を示唆している。