[논문 리뷰] Exploring Peer Review in the Computer Science Classroom

Scott Turner, Manuel A. Pérez-Quiñones|ArXiv.org|2009. 07. 20.

Teaching and Learning Programming참고 문헌 113인용 수 8

한 줄 요약

이 연구는 구조화된 피어 리뷰와 개방형 피어 리뷰라는 두 가지 다른 피어 리뷰 모델이 컴퓨터 과학 수업 학생들의 개념적 이해, 고차원적 사고 능력 및 참여도에 어떤 영향을 미치는지 조사한다. 결과는 리뷰 유형이 댓글의 품질, 길이, 개념적 집중도에 중대한 영향을 미치며, 특히 추상화, 분해, 캡슐화와 같은 분야에서 두드러지게 나타나며, 피어 리뷰 프레임워크의 설계 선택이 학습 결과에 결정적인 영향을 미친다는 것을 시사한다.

ABSTRACT

In computer science, students could benefit from more opportunities to learn important, high-level concepts and to improve their learning skills. Peer review is one method to encourage this by providing students with the opportunity to evaluate other people's work and to receive feedback on their own projects. This allows for rich learning experience but it is not immediately obvious how to create a programming project review that will improve the students' conceptual understanding, require higher level thinking, and be engaging. The current literature does not typically address differences between review implementations or provide reasons for design decisions. This work explored how two different types of reviews affected the students' learning of concepts, high-level thinking, and engagement. There were indications that the type of review affected how well students addressed the concept they were reviewing and the comments' length. This shows that the review's type may affect student engagement and conceptual learning. There were also differences in how they reviewed the concepts of Abstraction, Decomposition, and Encapsulation, suggesting that the concepts are being learned in different ways. Both of these results have an impact on the use of peer review computer science but need further investigation.

연구 동기 및 목표

• 다양한 피어 리뷰 형식이 고차원적 컴퓨터 과학 개념 학습에 어떤 영향을 미치는지 탐구하기.
• 리뷰 구조가 학생들의 고차원적 사고 능력과 참여도에 어떤 영향을 미치는지 평가하기.
• 다른 리뷰 유형이 추상화, 분해, 캡슐화와 같은 핵심 컴퓨터 과학 개념에 대한 학생들의 이해도에 어떻게 영향을 미치는지 조사하기.
• 컴퓨터 과학 교육에서 효과적인 피어 리뷰를 위한 설계 원칙을 도출하기.
• 컴퓨터 과학 교육에서 피어 리뷰 모델의 효과성에 대한 실증적 증거 제공하기.

제안 방법

• 두 가지 다른 피어 리뷰 모델을 구현함: 지침 기반 기준이 있는 구조화된 리뷰와 최소한의 지침이 있는 개방형 리뷰.
• 학생들은 프로그래밍 과제의 피어 리뷰에 참여하여 동료의 작업을 평가하고 자신의 제출물에 대한 피드백도 받음.
• 수집된 데이터에는 리뷰 댓글, 학생의 반성 글, 척도를 통한 개념적 이해 평가가 포함됨.
• 양적 및 질적 분석을 통해 두 리뷰 유형 간 댓글 길이, 깊이, 집중도를 비교 분석함.
• 학생들이 추상화, 분해, 캡슐화와 같은 핵심 컴퓨터 과학 개념을 피드백에서 어떻게 다루었는지에 초점을 맞춤.
• 다양한 컴퓨터 과학 수업 섹션을 대상으로 비교 사례 연구 설계를 시행함.

실험 결과

연구 질문

• RQ1 피어 리뷰의 구조가 학생들이 피드백에서 핵심 컴퓨터 과학 개념을 다룰 수 있는 데에 어떤 영향을 미치는가?
• RQ2 구조화된 리뷰와 개방형 리뷰가 학생의 참여도와 댓글 품질에 어떤 영향을 미치는가?
• RQ3 학생들이 추상화, 분해, 캡슐화를 평가할 때 리뷰의 깊이와 집중도가 어떻게 다를까?
• RQ4 리뷰 형식이 학생들의 고차원적 사고 능력 발달에 어느 정도 영향을 미치는가?
• RQ5 피어 리뷰 설계에서 어떤 고려사항이 컴퓨터 과학 교육에서 더 효과적인 개념적 학습을 이끌어내는가?

주요 결과

• 피어 리뷰 유형이 학생들의 댓글 길이와 품질에 중대한 영향을 미쳤으며, 구조화된 리뷰에서 더 구체적인 피드백이 나왔다.
• 구조화된 리뷰 조건에 속한 학생들은 추상화와 캡슐화와 같은 목표 개념과 더 잘 일치하는 피드백을 제시함.
• 분해와 캡슐화를 평가하는 방식의 차이점은 이러한 개념들이 리뷰 형식에 따라 서로 다른 방식으로 학습되고 적용되고 있음을 시사함.
• 구조화된 피어 리뷰가 개방형 형식보다 개념적 이해 향상과 고차원적 사고 촉진에 기여하는 것으로 나타남.
• 리뷰 설계가 학생의 참여도와 학습의 깊이, 특히 추상적인 컴퓨터 과학 개념에서 직접적인 영향을 미친다는 증거가 확인됨.
• 결과적으로 피어 리뷰 프레임워크는 컴퓨터 과학 교육에서 특정 학습 결과를 지원하기 위해 의도적으로 설계되어야 한다는 점을 시사함.