[論文レビュー] Analysis of a Design Pattern for Teaching with Features and Labels

Christopher Meek, Patrice Y. Simard+1 more|arXiv (Cornell University)|Nov 18, 2016

Machine Learning and Algorithms参考文献 12被引用数 4

ひとこと要約

本稿は、特徴量とラベルを用いた機械学習分類器の学習を教えるためのエラー駆動型特徴量設計パターン（EDF）を導入する。特徴量は、予測誤差を是正する必要が生じた場合にのみ追加される。線形分類器および1-NN分類器のラベル指定コストと特徴量追加コストについて理論的上限を提示し、EDFが特徴量選択の悪化リスクを低減しつつ、特に低容量の学習器においてラベル指定コストを有界に保つことを示している。

ABSTRACT

We study the task of teaching a machine to classify objects using features and labels. We introduce the Error-Driven-Featuring design pattern for teaching using features and labels in which a teacher prefers to introduce features only if they are needed. We analyze the potential risks and benefits of this teaching pattern through the use of teaching protocols, illustrative examples, and by providing bounds on the effort required for an optimal machine teacher using a linear learning algorithm, the most commonly used type of learners in interactive machine learning systems. Our analysis provides a deeper understanding of potential trade-offs of using different learning algorithms and between the effort required for featuring (creating new features) and labeling (providing labels for objects).

研究の動機と目的

• 特徴量とラベルを用いて機械学習モデルを訓練するための教える作業量を定量化すること。特に、特徴量工学とラベル指定のトレードオフに焦点を当てる。
• エラー駆動型特徴量設計パターン（EDF）のリスクと利点を分析すること。EDFでは、誤差を是正するために必要な場合にのみ特徴量が導入される。
• 異なる教えるプロトコル下で、線形分類器および1-NN分類器の最適な教えるコスト（具体的には概念仕様コストと無効化コスト）の理論的上限を提供すること。
• 特徴量選択戦略の影響が教える効率に与える影響を比較すること。特に、学習アルゴリズムの容量との関係を重視する。
• 理想化されたが解析的に扱いやすい教えるプロトコルを用いて、コストのトレードオフを分析することで、教師が特徴量工学とラベル指定の作業量のバランスを取る手がかりを提供すること。

提案手法

• 依存関係をモデル化するためのラティスベースの特徴量集合表現を導入し、構成要素の特徴量が定義された後でのみ特徴量が教えられるように保証する。
• 2つの教えるプロトコルを提案する：オープン特徴量（柔軟な特徴量およびラベル選択）とエラー駆動型特徴量（EDF）。EDFでは、誤差是正のための必要な場合にのみ特徴量が追加される。
• 教えるコストの形式的モデルを用い、概念仕様コスト（ラベル数）と無効化コスト（誤った特徴量集合を除外するために必要な例の数）に分解する。
• 有限個の実現可能なオブジェクトを仮定し、教える次元の枠組みを線形分類器および1-Nearest-Neighbor（1-NN）分類器に適用する。
• 本論文の完全版で命題論証を用いて、両学習アルゴリズムの最適な概念仕様コストと無効化コストのタイトな理論的上限を導出する。
• 線形分類器ではEDFにおけるラベル指定コストが2(|F| + 1)で有界であることが示され、1-NNではモデルの高容量性のため概念仕様コストが有界でない。

実験結果

リサーチクエスチョン

• RQ1 エラー駆動型特徴量（EDF）プロトコル下で、線形分類器を用いて目的の分類関数を教える際の最適ラベル指定コストは何か？
• RQ2 高容量（1-NN）と低容量（線形）の学習アルゴリズムの間で、特徴量選択の悪化リスクはどのように異なるか？
• RQ3 EDFプロトコルのラベル指定コストは有界に保たれるか？ もしそうであるなら、どのような条件下で成立するか？
• RQ4 オープン特徴量プロトコルとEDFプロトコルの間で、概念仕様コストと無効化コストはどのように異なるか？
• RQ5 特徴量集合のサイズと、線形分類器および1-NN分類器における最悪ケースの教えるコストとの関係は何か？

主な発見

• 線形分類器の最適概念仕様コストは、|F| + 1で有界であり、命題7で示されている。ここで|F|は特徴量集合のサイズである。
• 線形分類器の最適無効化コストは|F| + 2で有界であり、命題9で確立されており、この上限はタイトである。
• 1-NN分類器では、モデルの高容量性のため、特徴量集合サイズの関数として概念仕様コストは有界でない。
• 線形分類器を用いたEDFプロトコル下で、最小十分な特徴量集合のラベル指定コストは、命題5で示されるように、2(|F| + 1)以下である。
• EDFプロトコルは、特徴量が誤差是正が必要な場合にのみ追加されることを保証し、特に高容量の学習器において、不要または有害な特徴量を導入するリスクを低減する。
• 1-NNの無効化コストは2で有界である（命題8で示されたが、モデルの容量の高さのため、概念仕様コストは有界でない。