[논문 리뷰] Confidence-Aware Learning Assistant

Shoya Ishimaru, Takanori Maruichi외 2명|arXiv (Cornell University)|2021. 02. 15.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 37인용 수 6

한 줄 요약

이 논문은 다중선택형 문제 해결 중 자기 자신에 대한 자신감을 추정하고, 저신뢰도 정답 또는 고신뢰도 오답을 우선적으로 복습하도록 피드백을 제공하는 눈동자 추적 기반 시스템인 Confidence-Aware Learning Assistant (CoALA)를 제안한다. 세 개의 연구에서 평가된 결과, CoALA는 저신뢰도 정답에 대해 14% 향상된 정답률을 기록했으며, 고신뢰도 오답에 대해서는 17% 향상된 정답률을 기록했다. 자기 자신감 추정은 신뢰도 탐지에 대해 평균 정밀도 81%, 비신뢰도 탐지에 대해 평균 정밀도 79%를 달성했다.

ABSTRACT

Not only correctness but also self-confidence play an important role in improving the quality of knowledge. Undesirable situations such as confident incorrect and unconfident correct knowledge prevent learners from revising their knowledge because it is not always easy for them to perceive the situations. To solve this problem, we propose a system that estimates self-confidence while solving multiple-choice questions by eye tracking and gives feedback about which question should be reviewed carefully. We report the results of three studies measuring its effectiveness. (1) On a well-controlled dataset with 10 participants, our approach detected confidence and unconfidence with 81% and 79% average precision. (2) With the help of 20 participants, we observed that correct answer rates of questions were increased by 14% and 17% by giving feedback about correct answers without confidence and incorrect answers with confidence, respectively. (3) We conducted a large-scale data recording in a private school (72 high school students solved 14,302 questions) to investigate effective features and the number of required training samples.

연구 동기 및 목표

• 다중선택형 학습에서 감지되지 않은 저신뢰도 정답 및 고신뢰도 오답 문제를 해결하기 위한 것이다.
• 실제 교육 현장에서 적용 가능한 사용자 독립적 눈동자 기반 자기 자신감 추정 시스템을 개발하기 위한 것이다.
• 종단 간 사용자 연구를 통해 자신감 인식 피드백의 효과성을 평가하고 지식 품질 향상 여부를 검토하기 위한 것이다.
• 실제 환경 조건에서 학습 데이터 크기와 특징 선택이 자기 자신감 추정 성능에 미치는 영향을 조사하기 위한 것이다.

제안 방법

• 다중선택형 문제를 해결하는 참가자의 눈동자 추적 데이터를 수집하여, 정지 지속 시간, 사카드 수, 상대 위치 기반 영역(관심 영역, AOI) 특징 등의 눈동자 특징을 추출하였다.
• 다양한 학습자를 대상으로 사용자 독립성을 확보하기 위해, 눈동자 및 독서 시간 특징을 기반으로 기계 학습 분류기를 훈련시켜 자기 자신감을 추정하였다.
• 자기 자신감 추정 결과를 바탕으로 피드백을 생성하였으며, 이는 정답이지만 자신감이 없거나, 오답이지만 자신감이 있는 문제를 복습 대상으로 표시하였다.
• 시스템은 세 단계로 평가되었다: 통제된 실험실 연구(n=10), 피드백이 포함된 사용자 연구(n=20), 고등학교에서의 대규모 실외 배포(n=72명, 14,302개 질문).
• 특징 중요도는 순열 기반 방법을 사용해 분석하였으며, 눈에 보이지 않는 상관관계를 가지는 특징(예: 정지 횟수)이 조합될 경우 상당한 기여를 했다.
• 학습 샘플 수를 체계적으로 변화시켜 모델 성능에 미치는 영향을 평가하였으며, 200개 샘플을 초과하면 수익 감소 현상이 나타났다.

실험 결과

연구 질문

• RQ1 눈동자 기반 특징과 독서 시간은 사용자 독립적인 방식으로 다중선택형 문제 해결 중 자기 자신감을 신뢰성 있게 추정할 수 있는가?
• RQ2 추정된 자기 자신감을 바탕으로 피드백을 제공할 경우, 정답률과 자신감 품질 측면에서 학습 성과가 향상되는가?
• RQ3 자기 자신감 추정 성능은 통제된 환경과 실제 환경(in-the-wild) 설정 간에 어떻게 달라지는가?
• RQ4 실제 교육 환경에서 효과적인 자기 자신감 추정을 위해 필요한 최적의 학습 샘플 수는 얼마인가?
• RQ5 다양한 특징 중에서 자기 자신감을 가장 잘 예측하는 눈동자 특징는 무엇이며, 다변량 모델 내에서 이 특징들은 어떻게 상호작용하는가?

주요 결과

• 통제된 실험실 연구에서 자기 자신감 추정은 신뢰도 탐지에 대해 평균 정밀도 81%, 비신뢰도 탐지에 대해 평균 정밀도 79%를 달성했다.
• 사용자 연구에서 자기 자신감 추정 기반 피드백은 저신뢰도 정답에 대해 14% 향상된 정답률을 기록했으며, 고신뢰도 오답에 대해서는 17% 향상된 정답률을 기록했다. 이는 대조 조건 대비 향상된 결과이다.
• 실제 교실 환경(실외 연구)에서도 시스템은 뛰어난 성능을 보였으며, 학생들이 14,302개 질문을 레이블링한 결과, 비통제 환경에서도 적용 가능함을 입증했다.
• 학습 샘플 수가 약 200개를 초과하면 성능 향상이 정체되었으며, 추가 샘플은 분산을 줄이긴 하지만 평균 정밀도 향상에 크게 기여하지 않았다.
• 개별적으로는 약한 영향을 미치는 특징들(예: 정지 횟수, 사카드 빈도)이 모델 내에서 조합될 경우 의미 있는 기여를 했으며, 이는 특징 간 상호작용의 중요성을 시사한다.
• 시스템의 피드백 메커니즘은 지식의 쇠퇴를 효과적으로 완화하였으며, 특히 저신뢰도로 답한 질문에 대해 16%의 기억 상실 감소 효과를 보였다. 이는 피드백이 없는 조건 대비 유의미한 개선이다.