[논문 리뷰] A pilot study of the use of LogEx, lessons learned

Josje Lodder, Bastiaan Heeren외 1명|arXiv (Cornell University)|2015. 07. 14.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 9인용 수 3

한 줄 요약

이 pilot 연구는 표준 동치성으로 문장 논리 재작성을 가르치는 e-러닝 도구 LogEx의 효과를 평가한다. 학생들이 규칙 적용과 공식 정규화에서 향상된 것으로 나타났지만, 해결 전략에 대한 피드백이 부족하여 전략적 통찰력이 부족한 것으로 나타났으며, 이는 대규모 평가를 위한 향상된 피드백 및 로깅이 필요하다는 것을 시사한다.

ABSTRACT

LogEx is a learning environment that supports students in rewriting propositional logical formulae, using standard equivalences. We organized a pilot study to prepare a large scale evaluation of the learning environment. In this paper we describe this study, together with the outcomes, which teach us valuable lessons for the large scale evaluation.

연구 동기 및 목표

• 표준 동치성을 사용한 문장 논리 재작성 교육을 위한 e-러닝 환경인 LogEx의 효과를 평가한다.
• 학생들이 도구를 통해 규칙 적용, 공식 정규화, 동치성 증명과 같은 핵심 역량을 습득하는지 평가한다.
• 대규모 평가의 설계를 위한 사용성 및 피드백 문제를 특정한다.
• 관찰된 학생 행동을 바탕으로 전략적 의사결정에 대한 피드백 메커니즘, 특히 개선이 필요한 부분을 향상시킨다.
• 모든 사용자 행동, 특히 취소 및 힌트 사용을 포함한 로깅 인프라가 학습 결과 분석을 정확히 수행할 수 있도록 보장한다.

제안 방법

• 우타레 대학교의 1학년 학생들을 대상으로 제어된 교실 환경에서 소규모 실험을 실시하여 LogEx를 사용한다.
• 타우토로지 증명, 정규형 재작성, 동치성 증명의 세 가지 유형의 연습을 위해 사전 및 사후 테스트를 시행하여 학습 성과를 측정한다.
• 단계별 재작성, 규칙 적용, 힌트 요청, 취소 동작을 포함한 학생 상호작용의 상세 로그 데이터를 수집한다.
• 로그 분석을 통해 규칙 사용 패턴, 전략 개발, 도움 요청 행동을 분석하며, 특히 비효율적이거나 잘못된 접근 방식을 확인한다.
• 의미적 검증 및 사전 정의된 '오류 규칙' 세트를 사용하여 잘못된 재작성에 대한 피드백을 제공하며, 일반적인 오류에 대한 설명을 포함한다.
• 형식적 피드백(구문, 규칙, 의미적, 힌트 기반)이 학생의 성과와 학습 결과에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 LogEx를 사용한 후 학생들이 문장 논리 동치성을 얼마나 잘 적용하는가?
• RQ2 LogEx는 DNF 및 CNF로 공식을 재작성하고 동치성을 증명하는 데 얼마나 효과적인가?
• RQ3 증명 구성에서 전략적 통찰력을 기르는 데 방해가 되는 주요 사용성 및 피드백 문제들은 무엇인가?
• RQ4 학생들은 힌트, 다음 단계 제안, 완전한 해결책을 어떻게 사용하며, 이는 학습 결과에 어떤 영향을 미치는가?
• RQ5 학생의 학습과 행동을 정확히 평가할 수 있는 능력을 저해하는 로깅 제약은 무엇인가?

주요 결과

• 사전-사후 테스트 결과를 바탕으로 학생들은 논리 규칙을 정확히 적용하고 공식을 정규형으로 재작성하는 데 있어 뚜렷한 향상을 보였다.
• 규칙 적용과 정규화에서의 진전에도 불구하고, 해결 효율성과 경로 선택을 측정한 결과 전략적 통찰력 향상은 나타나지 않았다.
• 한 학생은 반복적인 이중 부정 및 드 모르간의 법칙을 사용하는 비최적 전략을 개발했으며, 전략에 대한 피드백이 없어 지속되었다.
• 힌트나 다음 단계 기능을 사용한 학생은 오직 한 명 뿐이었고, 완전한 해결책 비교를 사용한 학생도 오직 한 명 뿐이었으며, 이는 도움 요청을 꺼리는 경향이 널리 퍼져 있음을 시사한다.
• 시스템은 취소 동작을 로깅하지 못해 해결 과정의 변화를 추적하거나 학생이 단계를 되돌리거나 수정했을 때를 감지할 수 없었다.
• 학생들은 분배법칙의 교환 법칙 변형을 다루는 데 어려움을 겪었으며, 단일 단계에서 교환 재배열이 허용된다고 잘못 가정하여 명확하지 않은 지침이 규칙 적용 가능성을 둔다.