[論文レビュー] Decontamination of Mutual Contamination Models

Julian Katz-Samuels, Gilles Blanchard+1 more|arXiv (Cornell University)|Sep 30, 2017

Machine Learning and Data Classification参考文献 43被引用数 15

ひとこと要約

本稿は、未知の基本分布の混合である相互混同モデルのデコンタミネーションのための統一的フレームワークを提案する。観測された汚染された標本から真の基本分布を特定・推定することで、ラベルノイズを伴う多クラス分類、混合所属モデル、部分ラベル分類の問題に対して有限標本性能保証を備えたアルゴリズムを提供する。識別可能性の条件を確立する。

ABSTRACT

Many machine learning problems can be characterized by mutual contamination models. In these problems, one observes several random samples from different convex combinations of a set of unknown base distributions and the goal is to infer these base distributions. This paper considers the general setting where the base distributions are defined on arbitrary probability spaces. We examine three popular machine learning problems that arise in this general setting: multiclass classification with label noise, demixing of mixed membership models, and classification with partial labels. In each case, we give sufficient conditions for identifiability and present algorithms for the infinite and finite sample settings, with associated performance guarantees.

研究の動機と目的

• 機械学習における混合で汚染されたデータから真の基本分布を回復する課題に対処する。
• 多クラス分類におけるラベルノイズ、混合所属モデル、部分ラベル分類の3つの主要な問題を、共通の理論的枠組みで統合する。
• パrametric仮定なしに任意の確率空間における基本分布の識別可能性の十分条件を確立する。
• 無限標本および有限標本の両方の設定に対して理論的性能保証を備えたアルゴリズムを開発する。
• 現実の問題におけるノイズや不完全な教師信号を伴うデコンタミネーションに適用可能な一般化されたアプローチを提供する。

提案手法

• 相互混同モデルを線形混合として形式化：$\tilde{\bm{P}} = \bm{\Pi} \bm{P}$ ここで $\tilde{P}_i$ は観測された汚染された分布、$P_j$ は未知の基本分布である。
• 残差に基づく目的関数を候補分布上で最小化することで、ResidueHat推定器を用いて基本分布を回復する。
• 頂点探索手順を用いて、どの推定分布が実際に基本分布に対応するかを特定するVertexTestアルゴリズムを導入する。
• スペクトル的サポート推定を活用し、実データセットにおいて共通の非可約性仮定を経験的に検証する。
• 和集合の不等号と集中不等式を用いて、推定された混合構造 $\widehat{\kappa}_{i,j}$ が標本サイズが増加するにつれて真の構造 $\kappa_{i,j}$ に収束することを示す。
• 共通の非可約性および線形独立性の条件下で、DemixHatアルゴリズムの一貫性を証明し、推定された基本分布が真のものに収束することを保証する。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリックな設定下で、混合で汚染された標本から真の基本分布を一意に特定できる条件は何か？
• RQ2 混合行列が未知である場合、有限標本においてデコンタミネーション問題を一貫して解けるか？
• RQ3 提案されたアルゴリズムが、ラベルノイズを伴う多クラス分類において、真の基本分布をどの程度回復できるか？
• RQ4 このフレームワークは、理論的保証を伴って混合所属モデルや部分ラベル分類に応用可能か？
• RQ5 実世界のデータセットにおいて、識別可能性に必要な共通の非可約性仮定を支持する経験的証拠は何か？

主な発見

• 本稿は、基本分布の共通の非可約性が、相互混同モデルにおける識別可能性の十分条件であることを確立した。
• DemixHatアルゴリズムは、標本サイズが増加するにつれて、高確率で $\sup_E |\widehat{Q}_i(E) - P_{\sigma(i)}(E)| < \delta$ を満たすように、基本分布 $\widehat{Q}_i$ を一貫して推定する。
• MNIST、Iris、乳癌データセットにおける経験的結果から、$\Pr_{\bm{x} \sim P_i}(\bm{x} \in \cup_{j \neq i} \widehat{S}_j)$ が著しく1未満（例：0.08〜0.38）であることが示され、共通の非可約性仮定を支持する。
• 混合構造が回復可能であれば、大標本極限においてVertexTestアルゴリズムは高確率で基本分布を正しく特定する。
• 理論的保証により、推定された混合構造 $\widehat{\kappa}_{i,j}$ が $\bm{n} \to \infty$ のとき確率1に近づいて真の構造 $\kappa_{i,j}$ と一致することが示された。
• 本フレームワークは、パラメトリック仮定を排除し、任意の確率空間に適用可能なため、従来のトピックモデリング理論を一般化する。