[논문 리뷰] Latent Feature Extraction for Process Data via Multidimensional Scaling

Xueying Tang, Zhi Wang외 3명|arXiv (Cornell University)|2019. 04. 22.

Face and Expression Recognition참고 문헌 15인용 수 9

한 줄 요약

이 논문은 컴퓨터 기반 평가 응답 과정에서 잠재적 특징을 추출하기 위해 다차원 척도법(MDS) 기반 방법을 제안한다. 행동 시퀀스를 고차원 데이터로 간주하여 행동 패턴을 포착한다. 이 방법은 기존의 이진 응답 모델보다 독해력 및 수리 능력 점수 예측에서 뛰어난 성능을 보이며, 적은 수의 항목을 사용할 때조차 응답 과정 데이터가 예측 정확도를 향상시킨다.

ABSTRACT

Computer-based interactive items have become prevalent in recent educational assessments. In such items, the entire human-computer interactive process is recorded in a log file and is known as the response process. This paper aims at extracting useful information from response processes. In particular, we consider an exploratory latent variable analysis for process data. Latent variables are extracted through a multidimensional scaling framework and can be empirically proved to contain more information than classic binary responses in terms of out-of-sample prediction of many variables.

연구 동기 및 목표

• 컴퓨터 기반 평가에서 복잡하고 비표준적인 응답 과정에서 잠재 변수를 추출하기 위한 일반적이고 탐색적인 방법을 개발하기 위해.
• 기존 모델이 로그 데이터의 가변 길이, 범주형 행동 시퀀스를 처리할 수 없는 한계를 해결하기 위해.
• 응답 과정 데이터가 결과 변수에 대해 이진 우열/오답 응답보다 더 많은 예측 정보를 담고 있음을 입증하기 위해.
• 사전에 인지 모델이나 항목별 요약 자료에 의존하지 않고도 스케일러블하고 항목에 관계없이 응답 과정을 분석할 수 있도록 하기 위해.
• 응답 시퀀스에서 유도된 MDS 특징을 통합하여 독해력 및 수리 능력 점수 예측을 향상시키기 위해.

제안 방법

• 응답 과정을 쌍별 비유사도 기반으로 저차원 유클리드 공간에 임bedding하기 위해 다차원 척도법(MDS)을 사용한다.
• 행동 시퀀스 간의 차이를 측정하기 위해 비유사도 측정법(예: 레벤슈타인 거리 또는 최적의 기호 정렬)을 적용한다.
• MDS 좌표에서 첫 20개 주성분을 추출하여 행동 패턴을 나타내는 잠재적 특징으로 활용한다.
• 이러한 특징을 이진 항목 결과와 함께 선형 예측자에 통합하여 점수 예측에 활용한다.
• 가장 유용한 항목을 식별하기 위해 전진 AIC 선택을 적용하고, 과적합을 방지하기 위해 L2 정규화를 사용한다.
• 검증 세트를 사용하여 방법을 검증하고, 외부 표본 R²(OSR²)를 통해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 이진 응답만을 사용하는 것과 비교해 복잡한 응답 과정에서 추출한 잠재적 특징이 독해력 및 수리 능력 점수 예측에 도움이 되는가?
• RQ2 소수의 항목만 사용할 경우 응답 과정 데이터의 포함 여부가 예측 정확도에 어떤 영향을 미치는가?
• RQ3 특히 잘못된 응답의 경우, 응답 과정이 이진 결과보다 더 많은 정보를 담고 있는가?
• RQ4 MDS 기반 특징 추출 방법은 교육 평가의 응답 과정 분석을 위한 일반적이고 항목에 관계없는 방법이 될 수 있는가?
• RQ5 다양한 인구 통계적 배경에 따라 행동 패턴의 차이가 추출된 MDS 특징에 어떻게 반영되는가?

주요 결과

• 20개의 MDS 기반 특징을 포함한 과정 모델이 독해력 및 수리 능력 점수 예측에서 이진 응답만을 사용하는 기준 모델보다 유의미하게 뛰어난 성능을 보였다.
• 다섯 개의 항목만으로도 기준 모델이 모든 14개 항목을 사용할 때와 유사한 OSR² 성능을 달성했다.
• 독해력 예측에서의 성능 향상이 수리 능력 예측보다 더 두드러졌으며, 이는 응답 과정 데이터가 독해력 관련 역량을 더 잘 반영함을 시사한다.
• 잘못된 응답은 종종 더 풍부한 행동 시퀀스를 포함했고, 과정 모델은 이러한 추가 정보를 포착하여 잘못된 응답에 대한 예측 성능을 향상시켰다.
• MDS 기반 특징 추출 방법은 다양한 인구 통계적 집단에서 뛰어난 안정성을 보였으며, 항목의 구조나 인지 모델에 대한 사전 지식이 필요하지 않았다.
• 이 방법은 외부 표본에서 뛰어난 예측 성능을 보이며, 기존 응답 형식을 넘어서 응답 과정 데이터의 유용성을 입증했다.