[論文レビュー] TRESTLE: A Model of Concept Formation in Structured Domains

Christopher J. MacLellan, Erik Harpstead+2 more|arXiv (Cornell University)|Oct 14, 2024

Information Retrieval and Search Behavior被引用数 6

ひとこと要約

TRESTLE Incrementally builds a probabilistic conceptual hierarchy for structured domains, handling mixed data types and partial matching, and is evaluated on supervised prediction and unsupervised clustering against CFE and humans.

ABSTRACT

The literature on concept formation has demonstrated that humans are capable of learning concepts incrementally, with a variety of attribute types, and in both supervised and unsupervised settings. Many models of concept formation focus on a subset of these characteristics, but none account for all of them. In this paper, we present TRESTLE, an incremental account of probabilistic concept formation in structured domains that unifies prior concept learning models. TRESTLE works by creating a hierarchical categorization tree that can be used to predict missing attribute values and cluster sets of examples into conceptually meaningful groups. It updates its knowledge by partially matching novel structures and sorting them into its categorization tree. Finally, the system supports mixed-data representations, including nominal, numeric, relational, and component attributes. We evaluate TRESTLE's performance on a supervised learning task and an unsupervised clustering task. For both tasks, we compare it to a nonincremental model and to human participants. We find that this new categorization model is competitive with the nonincremental approach and more closely approximates human behavior on both tasks. These results serve as an initial demonstration of TRESTLE's capabilities and show that, by taking key characteristics of human learning into account, it can better model behavior than approaches that ignore them.

研究の動機と目的

• 人間の概念学習のための漸進的で構造を意識したモデルの必要性を動機づけ、複数のデータタイプを統合する。
• 逐次的なインスタンスから階層分類木を漸進的に構築するために TRESTLE を開発。
• 部分一致、平坦化、および COBWEB ベースの分類を有効化して予測とクラスタリングを支援。
• 監督付き予測と教師なしクラスタリングにおいて、非漸進的なベースライン(CFE)および人間の性能と比較評価する。

提案手法

• 名義・数値・構成・関係属性を用いてインスタンスを表現し、各概念の確率的説明を含める。
• 新しいインスタンスを根概念と整合させるために最善優先探索と類似度ヒューリスティックを用いて部分一致を行う。
• 将来的なリネームのための構造を保持しつつ、構造化されたインスタンスを名義/数値表現に平坦化する。
• 分類は COBWEB アルゴリズムを用い、4つの操作（追加、作成、統合、分割）をカテゴリ有用性に導かれて実行。
• 予測には非変更 COBWEB 分類を用いて概念確率表から属性値を割り当て、クラスタリングには概念木から階層ラベルを導出し、制御された分割によって平坦ラベルを生成。

実験結果

リサーチクエスチョン

• RQ1 TRESTLE は構造化ドメインにおける混合属性タイプを持つ概念形成を漸進的にモデルできるか。
• RQ2 監督付き予測タスクおよび教師なしクラスタリングタスクにおける、非漸進ベースライン(CFE) との性能比較。
• RQ3 TRESTLE の内部知識表現は、CFE よりも人間の分類に近いか。
• RQ4 クラスタリングの人間のクラスタリングと比較して、階層的分割の影響はどの程度か。

主な発見

レベル	モデル	ARI	標準偏差
Center of Mass	TRESTLE (one split)	0.37	0.03
Center of Mass	TRESTLE (two splits)	0.50	0.08
Center of Mass	TRESTLE (three splits)	0.54	0.13
Center of Mass	CFE	0.51	0.08
Symmetry	TRESTLE (one split)	0.16	0.08
Symmetry	TRESTLE (two splits)	0.34	0.08
Symmetry	TRESTLE (three splits)	0.44	0.08
Symmetry	CFE	0.47	0.04
Wide Base	TRESTLE (one split)	0.56	0.02
Wide Base	TRESTLE (two splits)	0.47	0.10
Wide Base	TRESTLE (three splits)	0.41	0.05
Wide Base	CFE	0.42	0.02

• TRESTLE は監督付き予測で人間の性能に近い水準を示し、非漸進的な CFE よりも人間に近い精度を達成する。
• CFE は監督タスクで人間および TRESTLE よりも高い予測精度を達成する。
• 教師なしクラスタリングでは、TRESTLE のクラスタリングが中心質（Center of Mass）および広い基底（Wide Base）レベルで人間のクラスタリングと高い一致を示す。
• 分割のレベルを跨いでも、特に Center of Mass および Wide Base で、人間らしいクラスタリングを測る場合に ARI（Adjusted Rand Index）で CFE を上回ることがある。