[論文レビュー] On Learning from Label Proportions

Felix X. Yu, Krzysztof Choromański+3 more|arXiv (Cornell University)|Feb 24, 2014

Machine Learning and Data Classification参考文献 18被引用数 41

ひとこと要約

本稿は、ラベル割合からの学習（LLP）のための理論的枠組みである実証的割合リスク最小化（EPRM）を導入し、バッグレベルのラベル割合が既知である場合に、個々のインスタンスラベルを信頼性高く学習できることを証明する。弱い仮定のもとで、バッグのラベル割合を予測する際の良い一般化性能が、個々のラベルを予測する際の良い一般化性能を示すことを示し、標本の複雑さはバッグサイズに対してわずかに敏感にとどまる。

ABSTRACT

Learning from Label Proportions (LLP) is a learning setting, where the training data is provided in groups, or "bags", and only the proportion of each class in each bag is known. The task is to learn a model to predict the class labels of the individual instances. LLP has broad applications in political science, marketing, healthcare, and computer vision. This work answers the fundamental question, when and why LLP is possible, by introducing a general framework, Empirical Proportion Risk Minimization (EPRM). EPRM learns an instance label classifier to match the given label proportions on the training data. Our result is based on a two-step analysis. First, we provide a VC bound on the generalization error of the bag proportions. We show that the bag sample complexity is only mildly sensitive to the bag size. Second, we show that under some mild assumptions, good bag proportion prediction guarantees good instance label prediction. The results together provide a formal guarantee that the individual labels can indeed be learned in the LLP setting. We discuss applications of the analysis, including justification of LLP algorithms, learning with population proportions, and a paradigm for learning algorithms with privacy guarantees. We also demonstrate the feasibility of LLP based on a case study in real-world setting: predicting income based on census data.

研究の動機と目的

• ラベル割合からの学習（LLP）がいつ、なぜ可能であるかを形式的に解明すること。
• バッグのラベル割合予測の一般化を分析することで、LLPの理論的基盤を確立すること。
• 弱い仮定のもとで、良好なバッグのラベル割合予測が、良好なインスタンスラベル予測に繋がることを示すこと。
• 既存のLLPアルゴリズムの正当化を図り、ラベル割合を用いたプライバシー保護型機械学習を可能にすること。
• 実世界の応用、例えば人口統計データから収入を予測するようなケースにおいて、LLPの実現可能性を示すこと。

提案手法

• 訓練バッグ内の与えられたラベル割合に一致するように、インスタンスレベルの分類器を学習するためのフレームワークとして、実証的割合リスク最小化（EPRM）を提案する。
• VCスタイルの境界を用いてバッグのラベル割合予測の一般化誤差を分析し、標本の複雑さがバッグサイズに対してわずかに敏感にとどまることを示す。
• バッグのラベル割合誤差とインスタンスラベル誤差の理論的関係を確立し、弱い仮定のもとで前者を制御すれば後者も制御できることを証明する。
• 複数インスタンス学習（MIL）理論の道具を用いて、ラベル割合予測の一般化誤差を束縛する。
• ラベルを露呈させずに、不確実なバッグから割合を学習するプライバシー保護型パラダイムを提案する。このパラダイムでは、微分プライバシーのための摂動された割合を出力する。
• 感度1のラプラスノイズを用いてカウントを摂動し、微分プライバシーを達成する。これにより、最終的な割合が高確率で元の値に近く保たれる。

実験結果

リサーチクエスチョン

• RQ1 どのような条件下で、バッグレベルのラベル割合のみから、個々のインスタンスラベルを正確に予測できるか？
• RQ2 バッグのラベル割合を学習する際の標本の複雑さは、バッグサイズにどのように依存するか？
• RQ3 ラベル割合学習に基づくインスタンスラベル予測の一般化に対して、どのような理論的保証を提供できるか？
• RQ4 LLPは機械学習アルゴリズムのプライバシーを強化するために使用可能か？
• RQ5 LLPは、例えば人口統計データから収入を予測するような実世界のデータにどのように応用できるか？

主な発見

• バッグのラベル割合予測の一般化誤差は、経験的割合誤差によって束縛され、標本の複雑さはバッグサイズに対してわずかに敏感にとどまる。
• 弱い仮定のもとで、小さなバッグのラベル割合誤差は、小さなインスタンスラベル予測誤差を示し、LLPの実現可能性を確立する。
• このフレームワークは、特定の最適化手法に依存しない形で、既存のLLPアルゴリズムの形式的理論的正当化を提供する。
• 提案手法により、個々のラベルを露呈させずに、割合に基づいて学習する新しい微分プライバシー機械学習のパラダイムが可能になる。
• 実世界の事例研究において、LLPは人口統計データのグループレベルの割合のみを用いて、個々の収入を正確に予測した。
• ラプラスノイズによるカウントの摂動により、LLPに微分プライバシーを効果的に適用でき、出力された割合が高確率で真の値に近く保たれることを保証する。