[論文レビュー] Active classification with comparison queries

Daniel M. Kane, Shachar Lovett+2 more|arXiv (Cornell University)|Apr 11, 2017

Machine Learning and Algorithms参考文献 6被引用数 3

ひとこと要約

この論文は、学習者が2つの例のうちどちらが決定境界に近いかを尋ねる比較クエリを用いたアクティブラーニングを導入する。半分の空間でマージンが大きい場合、またはビット記述長が有界な場合、n 個の例をラベルするのに O(log n) のクエリで十分であり、従来のアクティブラーニングに比べて指数的改善が達成されることを示している。主な貢献は、このようなクエリにおけるクエリ複雑度を特徴付ける新しい組合せ的測度、推論次元である。

ABSTRACT

We study an extension of active learning in which the learning algorithm may ask the annotator to compare the distances of two examples from the boundary of their label-class. For example, in a recommendation system application (say for restaurants), the annotator may be asked whether she liked or disliked a specific restaurant (a label query); or which one of two restaurants did she like more (a comparison query). We focus on the class of half spaces, and show that under natural assumptions, such as large margin or bounded bit-description of the input examples, it is possible to reveal all the labels of a sample of size $n$ using approximately $O(\log n)$ queries. This implies an exponential improvement over classical active learning, where only label queries are allowed. We complement these results by showing that if any of these assumptions is removed then, in the worst case, $Ω(n)$ queries are required. Our results follow from a new general framework of active learning with additional queries. We identify a combinatorial dimension, called the \emph{inference dimension}, that captures the query complexity when each additional query is determined by $O(1)$ examples (such as comparison queries, each of which is determined by the two compared examples). Our results for half spaces follow by bounding the inference dimension in the cases discussed above.

研究の動機と目的

• 比較クエリ（2つの例のうちどちらが決定境界に近いかを尋ねる）が、アクティブラーニングにおけるクエリ複雑度を顕著に低減できるかどうかを調査すること。
• 標準的なラベルクエリのみを用いるアクティブラーニングと比較して、比較クエリが指数的改善をもたらす条件を同定すること。
• 追加のクエリタイプ（特に定数個の例によって決定されるもの）が利用可能な場合のアクティブラーニングの一般理論的枠組みを構築すること。
• マージンや入力の記述長が有界であるといった自然な仮定の下で、比較クエリを用いた半分の空間の学習におけるクエリ複雑度を特徴付けること。
• このような仮定がなければ、最悪ケースで Ω(n) のクエリが必要であることを示して、タイトな境界を確立すること。

提案手法

• 追加のクエリ（比較など）が許可される場合のアクティブラーニングのクエリ複雑度を特徴付けるために、新しい組合せ的測度である推論次元を導入すること。
• 推論次元を、集合 S の部分集合が、ラベルクエリや比較クエリのみで S 内の点のラベルを推論できないような最大の集合 S のサイズとして定義すること。
• 概念クラスの推論次元が d である場合、サイズ n の実現可能なサンプルをラベルするのに O(d) のクエリで十分であることを証明すること。
• マージンや入力のビット記述複雑度といった幾何的性質と推論次元の関係を確立すること。
• 関数やベクトルの明示的構成を用いて、さまざまな仮定の下での推論次元の下界を証明すること。
• 線形代数と関数解析を活用して、1点を除くすべての点で比較クエリおよびラベルクエリに対して区別不能な関数族を構築すること。

実験結果

リサーチクエスチョン

• RQ1 比較クエリ（2つの例のうちどちらが決定境界に近いかを尋ねる）は、アクティブラーニングにおけるデータセットのラベル付けに必要なクエリ数を削減できるか？
• RQ2 比較クエリの使用が、標準的アクティブラーニングと比較してクエリ複雑度を指数的に低減する条件は何か？
• RQ3 追加のクエリタイプが利用可能な場合のアクティブラーニングのクエリ複雑度を捉える一般理論的枠組みは存在するか？
• RQ4 マージンや入力記述長の構造的仮定がなければ、比較クエリとラベルクエリのみを用いた半分の空間の学習における最悪ケースのクエリ複雑度は何か？
• RQ5 推論次元フレームワークを用いて、特定の概念クラスにおけるクエリ複雑度のタイトな上界および下界を導出できるか？

主な発見

• マージンが 1/8 以上である半分の空間では、最悪ケースでもクエリ複雑度が still Ω(n) であることが示され、マージンだけでは比較クエリによる指数的改善が達成されないことが示された。
• 入力のビット記述長が有界な場合、クエリ複雑度は O(log n) にまで低下し、従来のアクティブラーニングに比べて指数的改善が達成された。
• 概念クラスの推論次元は、サイズ n の任意の実現可能なサンプルをラベルするのに必要なクエリ数の上界である。
• マージンが大きく、かつ推論次元が Ω(n) である概念クラスが存在することを示し、マージンだけでは最悪ケースのクエリ複雑度を低減できないことを証明した。
• マージンや記述長の構造的仮定がなければ、最悪ケースで Ω(n) のクエリが必要であることが、比較クエリが存在しても同様に成り立つ。
• 推論次元フレームワークは、特にクエリが定数個の例によって決定される場合に、比較クエリを用いたアクティブラーニングのクエリ複雑度をタイトに特徴付けることができる。