[논문 리뷰] TRESTLE: A Model of Concept Formation in Structured Domains

Christopher J. MacLellan, Erik Harpstead외 2명|arXiv (Cornell University)|2024. 10. 14.

Information Retrieval and Search Behavior인용 수 6

한 줄 요약

TRESTLE는 혼합 데이터 유형과 부분 일치를 처리하면서 구조화된 도메인에 대한 확률적 개념 계층을 순차적으로 구축하며, 감독 학습 예측 및 인간 대비 비감독 클러스터링에서 CFE 및 인간과 비교 평가된다.

ABSTRACT

The literature on concept formation has demonstrated that humans are capable of learning concepts incrementally, with a variety of attribute types, and in both supervised and unsupervised settings. Many models of concept formation focus on a subset of these characteristics, but none account for all of them. In this paper, we present TRESTLE, an incremental account of probabilistic concept formation in structured domains that unifies prior concept learning models. TRESTLE works by creating a hierarchical categorization tree that can be used to predict missing attribute values and cluster sets of examples into conceptually meaningful groups. It updates its knowledge by partially matching novel structures and sorting them into its categorization tree. Finally, the system supports mixed-data representations, including nominal, numeric, relational, and component attributes. We evaluate TRESTLE's performance on a supervised learning task and an unsupervised clustering task. For both tasks, we compare it to a nonincremental model and to human participants. We find that this new categorization model is competitive with the nonincremental approach and more closely approximates human behavior on both tasks. These results serve as an initial demonstration of TRESTLE's capabilities and show that, by taking key characteristics of human learning into account, it can better model behavior than approaches that ignore them.

연구 동기 및 목표

• 여러 데이터 유형을 통합하는 점진적이고 구조를 인식하는 인간 개념 학습 모델의 필요성을 동기 부여한다.
• 연속 인스턴스로부터 계층적 분류 트리를 점진적으로 구축하기 위해 TRESTLE를 개발한다.
• 예측 및 클러스터링을 지원하기 위해 부분 매칭, 평탄화 및 COBWEB 기반 분류를 가능하게 한다.
• 감독적 예측 및 비감독적 클러스터링에서 비증분 기준선(CFE) 및 인간 성능 대비 TRESTLE를 평가한다.

제안 방법

• 명목형, 수치형, 구성요소 및 관계 속성을 가진 인스턴스를 표현하고 각 개념에 대한 확률적 설명을 포함한다.
• 유사도 휴리스틱를 사용한 최적 우선 탐색으로 새로운 인스턴스를 루트 개념에 맞추기 위한 부분 매칭을 수행한다.
• 나중에 이름 바꾸기를 위해 구조를 보존하면서 구조화된 인스턴스를 명목/수치 표현으로 평탄화한다.
• 카테고리 유틸리티에 의해 안내되는 네 가지 가능한 작업(add, create, merge, split)을 사용하여 COBWEB 알고리즘으로 평탄화된 인스턴스를 분류한다.
• 예측에는 비변경 COBWEB 분류를 사용하여 개념 확률 표로부터 속성 값을 할당하고, 클러스터링에서는 개념 트리로부터 계층적 라벨을 도출하여 제어된 분할을 통해 평탄화된 라벨을 생성한다.

실험 결과

연구 질문

• RQ1 혼합 속성 유형이 있는 구조화된 도메인에서 TRESTLE가 점진적 개념 형성을 모델링할 수 있는가?
• RQ2 감독형 예측 과제와 비감독형 클러스터링 과제에서 비증분 기준선(CFE)과 비교해 TRESTLE의 성능은 어떠한가?
• RQ3 TRESTLE의 내부 지식 표현은 CFE보다 인간의 범주화와 더 밀접하게 일치하는가?
• RQ4 인간의 클러스터링에 비해 계층적 분할이 클러스터링 정확도에 미치는 영향은 무엇인가?

주요 결과

• TRESTLE는 감독형 예측에서 인간의 성능에 근접하며 정확도 면에서 비증분 CFE보다 인간에 더 가깝다.
• CFE는 감독 과제에서 인간과 TRESTLE보다 더 높은 예측 정확도를 달성한다.
• 비감독 클러스터링에서 TRESTLE의 클러스터링은 Center of Mass와 Wide Base 수준에서 인간 클러스터링과 높은 일치를 보인다.
• 분할 수준 전체에서 인간 유사 클러스터링을 측정할 때 ARI에서 TRESTLE가 CFE와 같거나 이를 초과할 수 있으며, 특히 Center of Mass 및 Wide Base에서 그렇다.