[論文レビュー] The Identification of Context-Sensitive Features: A Formal Definition of Context for Concept Learning

Peter D. Turney|ArXiv.org|Dec 12, 2002

Image Retrieval and Classification Techniques参考文献 9被引用数 65

ひとこと要約

本稿は、概念学習における主な特徴、文脈的特徴、無関係な特徴を区別する形式的枠組みを提示し、特徴間の文脈感受性を定義することで機械学習のパフォーマンスを向上させる。従来の定義の欠陥を是正し、学習アルゴリズムが文脈感受性特徴を自動で同定できるようにし、教師あり学習における効果的な特徴管理戦略の基盤を築く。

ABSTRACT

A large body of research in machine learning is concerned with supervised learning from examples. The examples are typically represented as vectors in a multi-dimensional feature space (also known as attribute-value descriptions). A teacher partitions a set of training examples into a finite number of classes. The task of the learning algorithm is to induce a concept from the training examples. In this paper, we formally distinguish three types of features: primary, contextual, and irrelevant features. We also formally define what it means for one feature to be context-sensitive to another feature. Context-sensitive features complicate the task of the learner and potentially impair the learner's performance. Our formal definitions make it possible for a learner to automatically identify context-sensitive features. After context-sensitive features have been identified, there are several strategies that the learner can employ for managing the features; however, a discussion of these strategies is outside of the scope of this paper. The formal definitions presented here correct a flaw in previously proposed definitions. We discuss the relationship between our work and a formal definition of relevance.

研究の動機と目的

• 従来の手法の制限を解消するため、概念学習における文脈を形式的に定義すること。
• 主な特徴、文脈的特徴、無関係な特徴の3種類の特徴を区別すること。
• 数学的に厳密な方法で特徴間の文脈感受性を定義すること。
• 従来の文脈および関連性の定義に見られる欠陥を是正すること。
• 学習アルゴリズムが文脈感受性特徴を自動で同定できるようにすること。

提案手法

• 概念学習における特徴の相互依存性に基づいて、文脈の形式的定義を提示する。
• 特徴を主な特徴、文脈的特徴、無関係な特徴に分類するための数学的枠組みを導入する。
• 条件付き依存関係を用いて、2つの特徴間の文脈感受性を定義する。
• 論理的および集合論的構造を用いて、ある特徴の関連性が他の特徴に依存する仕組みを形式化する。
• 訓練例の分布に基づいて、ある特徴が別の特徴に対して文脈感受性である条件を確立する。
• 事前に文脈を知らなくても、文脈感受性特徴を同定する基盤を提供する。

実験結果

リサーチクエスチョン

• RQ1 概念学習の文脈において、文脈を形式的に定義する方法は何か？
• RQ2 学習タスクにおいて、主な特徴、文脈的特徴、無関係な特徉の違いは何か？
• RQ3 ある特徴が別の特徴に対して文脈感受性であると定義される条件は何か？
• RQ4 文脈感受性は学習プロセスにどのように悪影響を及ぼすか、または複雑化させるか？
• RQ5 学習アルゴリズムは、文脈感受性特徴を自動で検出することができるか？

主な発見

• 文脈感受性の形式的定義により、従来の非形式的定義に見られた一貫性の欠如が解消された。
• 文脈感受性特徴とは、他の特徴の値に依存してその関連性が変化する特徴であり、学習アルゴリズムを誤導する可能性がある。
• 形式的基準を用いることで、文脈感受性特徴の自動検出が可能になる。
• 主な特徴、文脈的特徴、無関係な特徴の区別は、特徴選択とモデルの解釈可能性を向上させる。
• 今後の文脈感受性特徴の管理戦略のための堅実な理論的基盤を提供する。
• この形式的枠組みは一般性を有し、機械学習およびコンピュータビジョン分野の教師あり学習タスクに適用可能である。