[논문 리뷰] External Correlates of Adult Digital Problem-Solving Behavior: Log Data Analysis of a Large-Scale Assessment

Susu Zhang, Tang, Xueying외 3명|arXiv (Cornell University)|2021. 03. 28.

Cognitive Abilities and Testing참고 문헌 19인용 수 5

한 줄 요약

이 연구는 PIAAC 2012 조사에서 성인의 디지털 문제 해결 과제의 로그 데이터로부터 잠재 특징을 추출하기 위해 다차원 척도법(MDS)과 시퀀스-투-시퀀스 오토에인코드르(Seq2seq)를 사용한다. 이 과정에서 이러한 과정 기반 특징들이 최종 점수보다 인구통계학적 및 인지적 특성을 더 정확하게 예측함을 입증하며, 연령, 교육 수준, 인지 능력과 관련된 체계적인 행동 패턴을 드러낸다.

ABSTRACT

Using the action sequence data (i.e., log data) from the problem-solving in technology-rich environments assessment on the 2012 Programme for the International Assessment of Adult Competencies survey, the current study examines the associations between adult digital problem-solving behavior and several demographic and cognitive variables. Action sequence features extracted using multidimensional scaling (Tang, Wang, He, Liu, & Ying, 2019) and sequence-to-sequence autoencoders (Tang, Wang, Liu, & Ying, 2019) were used to predict test-taker external characteristics. Features extracted from action sequences were consistently found to contain more information on demographic and cognitive characteristics than final scores. Partial least squares analyses further revealed systematic associations between behavioral patterns and demographic/cognitive characteristics.

연구 동기 및 목표

• 상호작용형 디지털 과제에서 유도된 행동 시퀀스 특징이 최종 점수보다 외부 특성(예: 인구통계학적 특성)을 더 잘 예측하는가를 조사하기 위해.
• MDS 및 Seq2seq 특징이 인구통계학적 및 인지적 특성을 예측하는 데 있어 어떤 정도의 성능을 보이는지 비교하기 위해.
• 특정 테스트 항목에서 문제 해결 행동이 연령이나 교육 수준과 같은 특정 특성과 가장 강하게 연관되는지 규명하기 위해.
• 행동 시퀀스와 외부 특성 간 강한 연관성을 보이는 배경에 있는 행동 패턴을 해석하기 위해.
• 상호작용형 항목에서 공정성에 영향을 주거나 정보를 제공하는 행동 패턴을 식별하여 평가 설계에 기여하기 위해.

제안 방법

• PIAAC 2012의 문제 해결 능력 평가(기술 기반 환경에서의 문제 해결, PSTRE)에서 로그 데이터로부터 행동 시퀀스를 추출하였다.
• 행동 시퀀스 간의 쌍별 차이를 유지하기 위해 MDS를 적용하여 저차원 연속 공간에 임bedding하였다.
• 원래 시퀀스를 재구성하고 압축된 연속 잠재 표현을 추출하기 위해 Seq2seq 오토에인코드르를 사용하였다.
• 다양한 방법과 항목 간의 공정한 비교를 위해 잠재 특징 차원을 K=100으로 표준화하였다.
• 추출된 특징과 외부 특성 간의 관계를 모델링하기 위해 부분 최소 제곱 회귀(PLS) 회귀를 활용하였다.
• PLS 성분을 시각적으로 점검하여 특성과 관련된 해석 가능한 행동 패턴을 식별하였다.

실험 결과

연구 질문

• RQ1 MDS 및 Seq2seq 특징은 최종 시험 점수에 비해 인구통계학적 및 인지적 특성을 예측하는 데 얼마나 더 우수한가?
• RQ2 PSTRE 평가에서 어떤 상호작용 항목이 문제 해결 행동과 외부 특성 간의 가장 강한 연관성을 보이는가?
• RQ3 어떤 특정 행동 패턴(예: 행동 시퀀스)이 연령이나 교육 수준과 같은 특성과 가장 강하게 연관되는가?
• RQ4 MDS 및 Seq2seq에서 유도된 잠재 특징는 외부 특성에 대한 정보를 얼마나 잘 유지하는가?
• RQ5 과정 데이터는 컴퓨터 기반 평가에서 항목의 공정성과 설계에 얼마나 기여할 수 있는가?

주요 결과

• MDS 및 Seq2seq를 통해 추출된 행동 시퀀스 특징는 최종 점수만을 사용하는 것보다 인구통계학적 및 인지적 특성을 더 정확하게 예측하였다.
• MDS 및 Seq2seq 특징는 최종 점수보다 외부 특성에 대해 더 많은 정보를 담고 있었으며, 다양한 특성에서 높은 예측 정확도를 보였다.
• 특성과 강한 연관성을 보이는 항목들은 특정 행동 시퀀스나 탐색 전략 등의 구체적인 행동 패턴을 보였으며, PLS 성분 분석을 통해 식별되었다.
• 부분 최소 제곱 회귀 분석을 통해 연령, 교육 수준, 인지 능력과 같은 특성과 체계적이고 비랜덤한 행동 패턴 간의 연관성이 드러났다.
• 이 연구는 과정 데이터, 특히 MDS 또는 Seq2seq를 통해 변환된 과정 데이터가 디지털 평가에서 공정성 평가 및 항목 설계에 강력한 도구가 될 수 있음을 입증하였다.
• PLS 성분의 시각적 점검을 통해 특정 특성과 관련된 해석 가능한 행동 패턴을 식별할 수 있었지만, 이 방법은 수작업이 많고 확장성에 한계가 있다는 점이 지적되었다.