[論文レビュー] Pattern Recognition for Conditionally Independent Data

Daniil Ryabko|arXiv (Cornell University)|Jul 18, 2005

Machine Learning and Algorithms参考文献 28被引用数 19

ひとこと要約

この論文は、i.i.d.仮定を越えて古典的パターン認識理論を拡張する。対象がラベルを条件としてi.i.d.である、かつラベル頻度がゼロから離れているという条件付き独立モデルを導入し、多くの学習アルゴリズム—特に分割型および近傍法予測子—が、データの順序変更や微小な摂動に耐性を示す限り、このより弱い仮定のもとでも誤差率の一致性および一般化境界を保持することを示している。

ABSTRACT

In this work we consider the task of relaxing the i.i.d assumption in pattern recognition (or classification), aiming to make existing learning algorithms applicable to a wider range of tasks. Pattern recognition is guessing a discrete label of some object based on a set of given examples (pairs of objects and labels). We consider the case of deterministically defined labels. Traditionally, this task is studied under the assumption that examples are independent and identically distributed. However, it turns out that many results of pattern recognition theory carry over a weaker assumption. Namely, under the assumption of conditional independence and identical distribution of objects, while the only assumption on the distribution of labels is that the rate of occurrence of each label should be above some positive threshold. We find a broad class of learning algorithms for which estimations of the probability of a classification error achieved under the classical i.i.d. assumption can be generalised to the similar estimates for the case of conditionally i.i.d. examples.

研究の動機と目的

• パターン認識における厳密なi.i.d.仮定を緩和し、現実応用で一般的な従属構造を許容する。
• ラベルの頻度がゼロから離れているという条件付き独立の新たなモデルを形式化する—対象がラベルを条件としてi.i.d.である。
• 主な学習アルゴリズムがこのより弱い仮定のもとでも理論的性能保証を維持することを示す。
• 学習アルゴリズムのロバストネスを保証する一般的性質—データの順序変更および小規模サブセットへの耐性—を同定する。
• i.i.d.設定における分布フリーおよび分布特異的誤差境界を、条件付きi.i.i.設定に拡張する。

提案手法

• 無限列における固定分布からラベルが抽出され、ラベル頻度が有界である条件付きモデルを提案。対象はラベルを条件としてi.i.i.である。
• i.i.i.結果を条件付きモデルに拡張するための必要十分条件として「データへの耐性」の概念を導入。
• Vapnik-Chervonenkis理論を用いて、条件付き独立のもとでの経験的リスク最小化の有限標本誤差境界を導出。
• 順列不変性および集中不等式（例：Markovの不等式）を用いて、微小なデータ変更が分類誤差を変える確率を評価。
• 2種類の予測子—近傍法および分割型推定子—を分析し、新しいモデルのもとで弱および強一貫性を証明。
• 元のデータと順列を入れ替えたデータの間の誤差率の差をバインドすることで、誤差推定の転送を確立。

実験結果

リサーチクエスチョン

• RQ1 i.i.d.仮定が対象がラベルを条件として独立であるという条件付き独立に緩和された場合、古典的パターン認識アルゴリズムは誤差率の一貫性を維持できるか？
• RQ2 一般化性能を維持するために十分なラベル分布の最小仮定（例：頻度のしきい値）は何か？
• RQ3 条件付き独立のもとで学習アルゴリズムのロバストネスを保証する性質は何か？ そして、これらはどのように形式化できるか？
• RQ4 i.i.d.設定における分布フリー誤差境界を、条件付きi.i.i.モデルに拡張できるか？
• RQ5 順列不変な誤差推定は、非i.i.i.設定におけるアルゴリズムの耐性および一般化とどのように関係するか？

主な発見

• 近傍法予測子は、標本サイズが増加するにつれて誤差確率がゼロに近づくという弱一貫性を、条件付きモデルのもとで維持する。
• 分割型予測子も同様の条件下で弱一貫性を達成するが、ラベル頻度のしきい値を満たしている必要がある。
• 両方の予測子タイプにおいて、データの順列変更または小規模サブセットの変更による誤差のずれ確率はバインド可能であり、任意に小さくできる。
• 本論文は、予測子がデータ摂動および順列に耐性を示す場合、そのi.i.i.誤差境界が条件付きi.i.i.モデルに拡張可能であることを証明している。
• VC理論を用いて、経験的リスク最小化の有限標本誤差境界を導出し、条件付き独立のもとで一般化誤差が制御されることを示している。
• 鍵となる転送メカニズムは耐性特性である：予測子の誤差が微小なデータ変更および順列に対して感度が低ければ、そのi.i.i.性能保証は新しいモデルでも成立する。