[論文レビュー] Learning without Interaction Requires Separation.

Amit Daniely, Vitaly Feldman|arXiv (Cornell University)|Sep 24, 2018

Machine Learning and Algorithms被引用数 9

ひとこと要約

この論文は、局所的微分プライバシーまたは限られた通信制約下での非インタラクティブな学習が、低 marginal 複雑度を要することを確立し、大規模な marginal 複雑度を示すクラスにおいて、インタラクティブ学習と非インタラクティブ学習の間の分離を示した。また、marginal 複雑度に関して多項式時間の label-non-adaptive SQ アルゴリズムを導入し、marginal 複雑度による非インタラクティブ学習可能性の特徴付けをした。

ABSTRACT

One of the key resources in large-scale learning systems is the number of rounds of communication between the server and the clients holding the data points. We study this resource for systems with two types of constraints on the communication from each of the clients: local differential privacy and limited number of bits communicated. For both models the number of rounds of communications is captured by the number of rounds of interaction when solving the learning problem in the statistical query (SQ) model. For many learning problems known efficient algorithms require many rounds of interaction. Yet little is known on whether this is actually necessary. In the context of classification in the PAC learning model, Kasiviswanathan et al. (2008) constructed an artificial class of functions that is PAC learnable with respect to a fixed distribution but cannot be learned by an efficient non-interactive (or one-round) SQ algorithm. Here we show that a similar separation holds for any class with large margin complexity that is closed under negation, without assumptions on the distribution. That is, classes of functions that cannot be represented as large-margin linear separators. In particular this is true for linear separators and decision lists. To prove this separation we show that non-interactive SQ algorithms can only learn function classes of low margin complexity. Our lower bound also holds against a stronger class of algorithms that for which only queries that depend on labels are non-interactive (we refer to them as label-non-adaptive). We complement this lower bound with a new efficient and label-non-adaptive SQ learning algorithm whose complexity is polynomial in the margin complexity. We thus obtain a new characterization of margin complexity that might be of independent interest.

研究の動機と目的

• 通信制約またはプライバシー制約下で、非インタラクティブ学習がインタラクティブ学習に比べて本質的に能力に制限を受けるかどうかを特定すること。
• 統計的クエリ（SQ）モデルにおいて、大規模な marginal 複雑度を示すクラスは、相互作用なしでは効率的に学習できないかどうかを調査すること。
• marginal 複雑度を用いて、非インタラクティブまたは label-non-adaptive SQ アルゴリズムで学習可能な関数のクラスを特徴付けること。
• marginal 複雑度に関して多項式的依存関係を示すが、効率的である label-non-adaptive SQ アルゴリズムを開発すること。

提案手法

• 著者たちは、非インタラクティブ SQ アルゴリズムが、marginal 複雑度が低い関数クラスしか学習できないことを証明することで、その限界を分析した。
• ラベル依存クエリのみが非インタラクティブであるという、より強い label-non-adaptive アルゴリズムのモデルを導入した。
• marginal 複雑度に関して多項式的時間の、label-non-adaptive で効率的な新しい SQ 学習アルゴリズムを構築した。
• 証明は、marginal 複雑度を主要パラメータとして用いて、非インタラクティブクエリが学習プロセスに与える影響を制限することに依存している。
• 分散学習における通信制約を SQ モデルに結びつけ、ラウンド複雑度が SQ クエリにおける相互作用に対応することを示した。

実験結果

リサーチクエスチョン

• RQ1 局所的微分プライバシーまたはビット制限付き通信下で、marginal 複雑度が大きな関数クラスを非インタラクティブ学習アルゴリズムが効率的に学習できるか。
• RQ2 negation に関して閉じており、marginal 複雑度が大きなクラスについて、SQ モデルにおいてインタラクティブと非インタラクティブ学習の間に明確な分離が存在するか。
• RQ3 marginal 複雑度の観点から、非インタラクティブ学習可能性の正確な特徴付けは何か。
• RQ4 label-non-adaptive SQ アルゴリズムは、marginal 複雑度に関して多項式的依存関係を満たしつつ、効率的であるか。

主な発見

• 非インタラクティブ SQ アルゴリズムは、クラスが negation に関して閉じていても、PAC学習可能であっても、marginal 複雑度が大きな関数クラスを学習できない。
• インタラクティブ学習と非インタラクティブ学習の間には分離が存在する：marginal 複雑度が大きなクラスは、効率的に学習するには相互作用を要する。
• 非インタラクティブまたは label-non-adaptive SQ アルゴリズムで学習可能な関数のクラスは、正確に低 marginal 複雑度によって特徴付けられる。
• marginal 複雑度がターゲットクラスのものに関して多項式的時間の、効率的な label-non-adaptive SQ アルゴリズムが構築された。
• 下界は、ラベル依存クエリのみが非インタラクティブであるというより強いモデルに対しても成立し、分離の堅牢性を確認した。