[논문 리뷰] Cluster Analysis of Educational Data: an Example of Quantitative Study on the answers to an Open-Ended Questionnaire

Onofrio Rosario Battaglia, Benedetto Di Paola외 1명|arXiv (Cornell University)|2015. 12. 30.

Sensory Analysis and Statistical Methods참고 문헌 41인용 수 10

한 줄 요약

이 논문은 교육 연구에서 개방형 설문지 응답의 정량적 분석을 위한 군집 분석 방법론을 제시하며, 사전 가정 없이 지적적으로 일관된 학생 집단을 특정하기 위해 비지도 학습을 사용한다. 이 방법은 대학 물리 수업 학생들의 응답에 적용되어 명확한 추론 패턴을 드러내며, 데이터 기반 분류를 통해 학생들의 개념적 이해에 대한 새로운 통찰을 제공한다.

ABSTRACT

In the last years many studies examined the consistency of students' answers in a variety of contexts. Some of these papers tried to develop more detailed models of the consistency of students' reasoning, or to subdivide a sample of students into intellectually similar subgroups. The problem of taking a set of data and separating it into subgroups where the elements of each subgroup are more similar to each other than they are to elements not in the subgroup has been extensively studied through the methods of Cluster Analysis. This method can separate students into groups that can be recognized and characterized by common traits in their answers, without any prior knowledge of what form those groups would take (unbiased classification). In this paper we start from a detailed analysis of the data coding needed in Cluster Analysis, in order to discuss the meaning and the limits of the interpretation of quantitative results. Then two methods commonly used in Cluster Analysis are described and the variables and parameters involved are outlined and criticized. Section III deals with the application of these methods to the analysis of data from an open-ended questionnaire administered to a sample of university students, and the quantitative results are discussed. Finally, the quantitative results are related to student answers and compared with previous results reported in the literature, by pointing out the new insights resulting from the application of such new methods.

연구 동기 및 목표

• 개방형 설문지에서 얻은 정성적 교육 데이터를 정량적 군집 분석을 통해 체계적으로 분석하는 방법론을 개발하기 위해.
• 군집 구조에 대한 사전 가정 없이 학생들의 추론 패턴 유사성에 기반해 지적적으로 동질적인 하위 집단을 식별하기 위해.
• 군집 분석 결과의 해석 가능성과 제약 조건을 교육적 맥락에서 평가하고, 특히 데이터 코딩과 파rameter 선택에 초점을 맞추기 위해.
• 정량적 결과를 기존 문헌과 비교하여 물리 교육에서 학생의 추론에 대한 새로운 통찰을 드러내기 위해.
• 데이터 기반 분류와 의미 있는 해석을 동시에 지원할 수 있는 교육 데이터에 군집 분석를 적용하기 위한 방법론적 프레임워크를 제공하기 위해.

제안 방법

• 연구는 의미적 유사성에 기반해 학생 응답을 군집화하기 위해 계층적 군집 분석과 k-means 군집 분석 알고리즘을 사용한다.
• 자료 코딩은 자유형 응답을 군집 분석에 적합한 수치 변수로 변환하기 위한 체계적이고 세부적인 과정을 통해 수행된다.
• 계층적 군집 분석에서 거리 척도와 연결 기준의 선택이 군집 형성과 결과의 해석 가능성에 미치는 영향을 철저히 평가한다.
• k-means 방법은 다양한 군집 수로 적용되며, 내부 검증 지표를 활용해 최적의 군집 구조를 평가한다.
• 다양한 응답 차원이 동일한 기여를 하도록 군집 분석 전에 변수를 표준화하며, 파rameter 선택에 대한 민감도도 분석한다.
• 군집의 해석은 대표적인 학생 응답에 대한 정성적 분 析에 기반하여 수치적 군집화가 실제 추론 패턴과 연결되도록 한다.

실험 결과

연구 질문

• RQ1 어떻게 군집 분석을 교육 연구에서 개방형 설문지 응답에 효과적으로 적용할 수 있는가?
• RQ2 교육적 맥락에서 군집 분석를 위한 정성적 자료 코딩 시 발생하는 주요 과제와 제약 조건는 무엇인가?
• RQ3 물리 수업 학생들의 응답 군집 분석을 통해 어떤 안정적이고 해석 가능한 학생 추론 프로파일이 도출되는가?
• RQ4 식별된 군집은 기존 문헌에서 보고된 학생 추론 유형과 어떻게 비교될 수 있는가?
• RQ5 군집 분석는 기존의 정성적 코딩 방식을 초월해 학생 이해도에 대한 새로운 통찰을 어느 정도 드러내는가?

주요 결과

• 군집 분석은 개방형 물리 문제에 대한 학생들의 추론 패턴에 기반해 명확하고 해석 가능한 학생 집단을 성공적으로 식별하였다.
• 연구에서는 기존의 정성적 코딩만으로는 쉽게 파악하기 어려운 다양한 추론 프로파일, 즉 대안적 개념과 더 정교한 개념적 프레임워크를 발견하였다.
• 군집 파rameter 선택, 예를 들어 연결 기준과 군집 수의 설정이 결과 군집 구조와 해석에 중대한 영향을 미쳤다.
• 데이터 코딩 절차가 매우 중요하다는 것이 밝혀졌다: 코딩 결정의 미세한 변화가 다른 군집 구성으로 이어지며, 투명성과 일관성의 필요성을 강조하였다.
• 이 방법은 이전에 간과되었던 유사한 오개념이나 추론 전략을 가진 학생 하위 집단을 식별할 수 있었으며, 맞춤형 지도를 위한 새로운 길을 열었다.
• 군집 분석 결과는 이전의 정성적 연구와 일관성이 있었지만 더 세밀한 해석을 가능하게 하여, 학생의 추론을 분석하는 데 더 체계적이고 확장 가능한 접근법을 제공하였다.