[논문 리뷰] Pattern Dependence Detection using n-TARP Clustering

Tarun Yellamraju, Mireille Boutin|arXiv (Cornell University)|2018. 06. 13.

Neural Networks and Applications참고 문헌 21인용 수 3

한 줄 요약

이 논문은 고차원의 관측 변수와 일차원의 결과 변수 간에 통계적으로 유의미한 의존성을 탐지하기 위해 n-TARP 클러스터링을 제안한다. 특히 표본 수가 적은 교육 데이터셋에서 성능을 발휘한다. 랜덤 1차원 부분공간에 데이터를 투영하고, 이를 통해 다수의 이진 클러스터링을 생성하며, 순열 검증을 통해 그 유의성을 평가함으로써, 결과 변수의 차이에 대한 경험적 누적분포함수를 통해 선형 및 고차항 의존성을 정량화한다. 27명의 학생이 참여한 디지털 신호 처리 수업에서 유의미한 기량-등급 관계를 드러낸다.

ABSTRACT

Consider an experiment involving a potentially small number of subjects. Some random variables are observed on each subject: a high-dimensional one called the "observed" random variable, and a one-dimensional one called the "outcome" random variable. We are interested in the dependencies between the observed random variable and the outcome random variable. We propose a method to quantify and validate the dependencies of the outcome random variable on the various patterns contained in the observed random variable. Different degrees of relationship are explored (linear, quadratic, cubic, ...). This work is motivated by the need to analyze educational data, which often involves high-dimensional data representing a small number of students. Thus our implementation is designed for a small number of subjects; however, it can be easily modified to handle a very large dataset. As an illustration, the proposed method is used to study the influence of certain skills on the course grade of students in a signal processing class. A valid dependency of the grade on the different skill patterns is observed in the data.

연구 동기 및 목표

• 표본 수가 적은 상황에서 고차원의 관측 변수와 일차원의 결과 변수 간 의존성을 탐지하는 데 도전한다.
• 고차원성과 적은 표본 수로 인한 회귀의 불안정성 문제를 해결하기 위해 기능 추정에서 패턴 기반 클러스터링으로 초점을 이동시킨다.
• 결과 변수의 변동을 예측하는 통계적으로 유의미한 관측 변수 패턴 클러스터를 식별할 수 있는 확장성 있고 계산 효율적인 방법을 개발한다.
• 선형 및 고차항(제곱, 세제곱) 관계를 포함한 의존성의 강도와 유의성을 정량화하고, 개별 특징의 기여도를 평가한다.
• 이 방법이 교육 데이터 분석에서 특히 기량 패턴이 과제 성적에 미치는 영향을 식별하는 데 유용함을 보여준다.

제안 방법

• 고차원 관측 변수의 랜덤 1차원 투영을 사용하여 수정된 n-TARP 분류기를 통해 다수의 이진 클러스터링을 생성한다.
• 각 클러스터링에 대해 통계적 순열 검증을 적용하여 유의미한지 평가하고, 비유의미한 것은 기각한다.
• 클러스터 그룹 간 결과 변수 평균의 절대 차이에 대한 경험적 누적분포함수(CDF)를 구성하여 의존성 강도를 정량화한다.
• 몬테카를로 시뮬레이션으로부터 유도된 귀무가설 분포와 경험적 CDF를 비교하여 통계적 유의성 수준을 결정한다.
• 비선형 의존성을 탐지하기 위해 특징 공간을 제곱항까지 포함하여 확장한다.
• 특징 선택을 위해 개별 기능(기능별 기량)을 순차적으로 제거하고 CDF를 재평가하여 기여도를 평가한다.

실험 결과

연구 질문

• RQ1 패턴 기반 클러스터링은 소규모 데이터셋에서 고차원 학생 특성과 과제 성과 간에 통계적으로 유의미한 의존성을 탐지할 수 있는가?
• RQ2 관측 변수 패턴과 결과 간의 선형, 제곱, 세제곱 관계는 강도와 유의성 측면에서 어떻게 비교되는가?
• RQ3 개별 기량(A, B, C, D, E 등) 중에서 과제 성적에 유의미한 영향을 미치는 것은 무엇이며, 어떤 차수의 의존성에서 그러한 영향을 미치는가?
• RQ4 기존의 클러스터링 방법이 실패하는 고차원, 소표본 환경에서 이 방법은 신뢰성 있고 통계적으로 유의미한 클러스터링을 안정적으로 생성할 수 있는가?
• RQ5 고차항 다항식 특징을 포함함으로써 의존성 패턴 탐지 및 결과 차이의 유의성에 어떤 영향을 미치는가?

주요 결과

• 10,000개의 n-TARP 클러스터링 중에서 20개가 서로 다를 뿐 아니라 통계적으로 유의미했으며, 이는 26차원, 27개 표본의 데이터셋에서 신뢰할 수 있는 클러스터링을 생성할 수 있음을 보여준다.
• 경험적 CDF 분석 결과, 유의미한 클러스터 중 30%는 평균 성적 차이가 최소 0.5 이상이었고, 이는 두 시그마 유의성 영역 내에 있었다.
• 특징 공간을 제곱항까지 확장한 결과, 결과 차이의 유의성 영역이 가장 커졌으며, 이는 이 차수에서 더 강한 탐지 가능한 의존성이 있음을 시사한다.
• 세제곱항을 고려할 경우, 기량 D를 제거했을 때 CDF 곡선이 상승하는 경향을 보였으며, 이는 기량 D가 세제곱 차수에서 성적 의존성에 유의미하게 기여하고 있음을 의미한다. 그러나 선형 또는 제곱 차수에서는 그러한 기여가 없었다.
• 선형 의존성은 주로 기량 A와 E에 의해 주도되었으며, 이 두 기능을 제거했을 때 CDF 곡선이 상승하여 의존성 강도가 감소함을 보였다.
• 이 소표본 환경에서 표준 클러스터링 알고리즘(예: Proclus, K-means)보다 이 방법이 더 우수했으며, 대부분의 알고리즘이 겹치지 않는 통계적으로 유의미한 클러스터를 생성하지 못했다.