[논문 리뷰] A Conceptual Framework to Assess the Effectiveness of Rubric Tool

Phil Smith, Blooma John외 1명|arXiv (Cornell University)|2016. 06. 04.

Student Assessment and Feedback참고 문헌 19인용 수 3

한 줄 요약

이 논문은 정보 시스템, 학습, 정치 철학, 그리고 의사소통 이론을 통합한 개념적 프레임워크를 제안하여 높은 교육에서 디지털 루브릭 도구의 효과성을 평가한다. 이 프레임워크는 호주 국제 대학의 학부 과정에 적용되었으며, Blackboard와 같은 학습 관리 시스템을 통해 온라인 학습 환경에서 루브릭 도구가 피드백 품질과 학생 학습 성과를 어떻게 향상시키는지 평가한다.

ABSTRACT

Rubrics are being used in a wide variety of disciplines in higher education to evaluate assessments and provide feedback to students. Rubrics are traditionally implemented as paper-based table format to grade assessments and provide feedback. The advancement of technology has integrated Rubric Tool into Learning Management Systems (LMS) like Blackboard to facilitate online marking. In this study, we aim to evaluate the effectiveness of Rubric Tool. We propose an integrated conceptual framework using various theories from extant literature to assess the effectiveness of Rubric Tool. Further, this framework has been applied in an undergraduate course at the Asian campus of an Australian International University. This is a research in progress paper which adds to the literature on integrating information systems theory, learning theory, political philosophy and communication theory to examine the effectiveness of Rubric Tool in student learning.

연구 동기 및 목표

• 높은 교육 분야에서 디지털 루브릭 도구 평가를 위한 다학제 개념적 프레임워크를 개발하기 위해.
• 학습 관리 시스템 내 루브릭 도구가 평가 피드백의 품질과 일관성을 어떻게 향상시키는지 조사하기 위해.
• 통합된 이론적 시각을 통해 루브릭 도구가 학생 학습 성과에 미치는 영향을 조사하기 위해.
• 국제 대학의 학부 과정 환경에서 실제 적용을 통해 프레임워크를 검증하기 위해.
• 정보 시스템, 학습, 의사소통, 정치 철학 이론을 융합하여 기술 기반 평가에 관한 문헌에 기여하기 위해.

제안 방법

• 프레임워크는 정보 시스템 이론, 학습 이론, 정치 철학, 의사소통 이론의 네 가지 이론적 영역을 통합한다.
• 호주 국제 대학의 학부 과정에서 루브릭 도구 구현을 평가하기 위해 혼합 방법론을 사용한다.
• 연구는 블랙보드 기반 학습 관리 시스템에서의 루브릭 사용을 분석하기 위해 프레임워크를 적용한다.
• 자료 수집은 학생과 강사의 정성적 피드백 및 루브릭 적용 관찰 분석을 포함한다.
• 이론적 통합을 통해 기술적 功能성 이상의 통합적 평가가 가능하다.
• 다양한 학문 분야와 기관 환경에서 활용 가능한 유연하고 적응 가능한 모델로 설계되었다.

실험 결과

연구 질문

• RQ1 학습 관리 시스템 내 디지털 루브릭 도구가 평가 피드백의 일관성과 품질에 어떤 영향을 미치는가?
• RQ2 루브릭 도구는 학생이 평가 기준과 학습 성과를 이해하는 데 어떤 방식으로 도움이 되거나 방해가 되는가?
• RQ3 정보 시스템, 학습, 정치 철학, 의사소통 이론의 이론적 시각이 루브릭 도구 평가에 어떻게 통합되어 향상되는가?
• RQ4 학생과 강사의 관점에서 루브릭 도구 사용의 인식된 이점과 과제는 무엇인가?
• RQ5 다양한 이론의 통합이 루브릭 도구 평가의 타당성과 깊이를 어느 정도 향상시키는가?

주요 결과

• 통합된 이론적 프레임워크는 기술적 기능을 넘어서 루브릭 도구 평가를 위한 종합적인 시각을 제공한다.
• 강사들은 디지털 루브릭을 통해 채점 일관성 향상과 평가 기준의 명확한 소통을 경험했다.
• 학생들은 루브릭이 기대 수준을 이해하는 데 도움이 된다고 평가했지만, 일부는 복잡한 루브릭 설계로 인한 사용성 문제를 지적했다.
• 프레임워크는 다양한 학문 분야와 기관 환경에서의 적용 가능성을 입증했다.
• 루브릭 설계를 교육 목표와 학습자 요구에 맞추는 것이 중요하다는 점이 부각되었다.
• 이 연구는 높은 교육 분야에서 디지털 평가 도구 평가를 위한 새로운 이론 기반 접근법을 기여한다.