[논문 리뷰] Effect of Interface Style in Peer Review Comments for UML Designs

Scott Turner, Manuel A. Pérez-Quiñones외 1명|ArXiv.org|2006. 07. 14.

Innovative Teaching and Learning Methods참고 문헌 9인용 수 7

한 줄 요약

이 연구는 소개 과정에서 UML 설계에 대한 동료 평가 댓글의 질과 수에 영향을 미치는 인터페이스 스타일—펜과 종이, 태블릿-PC, 데스크톱 컴퓨터—이 어떻게 작용하는지 평가한다. 82명의 학생을 대상으로 한 통제된 실험을 통해 저자들은 태블릿-PC 사용자가 펜과 종이 또는 데스크톱을 사용한 학생들보다 훨씬 더 구체적이고 고급스러운 댓글을 생성하는 것으로 발견하였으며, 이는 태블릿에서의 필기 작성이 동료 평가 환경에서 표현력 있는 피드백을 향상시킨다는 것을 시사한다.

ABSTRACT

This paper presents our evaluation of using a Tablet-PC to provide peer-review comments in the first year Computer Science course. Our exploration consisted of an evaluation of how students write comments on other students' assignments using three different methods: pen and paper, a Tablet-PC, and a desktop computer. Our ultimate goal is to explore the effect that interface style (Tablet vs. Desktop) has on the quality and quantity of the comments provided.

연구 동기 및 목표

• 다양한 인터페이스 스타일—펜과 종이, 태블릿-PC, 데스크톱 컴퓨터—이 UML 설계에 대한 동료 평가 댓글의 질과 수에 어떻게 영향을 미치는지 조사하기 위해.
• 태블릿-PC에서 스타일러스로 필기하는 물리적 행동이 기존의 전통적 방식이나 키보드 기반 디지털 방식보다 더 성찰적이거나 자세한 피드백을 이끌어내는지 평가하기 위해.
• 초보 수준의 컴퓨터 과학 수업 내 동료 평가 과정에서 인터페이스 선택의 교육적 영향을 평가하기 위해.
• 인터페이스 스타일이 UML 설계 리뷰에서 학생의 참여도와 피드백 깊이에 영향을 미치는지 확인하기 위해.

제안 방법

• 82명의 1학년 컴퓨터 과학 수강생을 대상으로 UML 클래스 다이어그램을 검토하는 통제된 실험을 실시하였다.
• 학생들을 세 가지 인터페이스 조건 중 하나로 할당: 펜과 종이, 스타일러스가 있는 태블릿-PC, 키보드가 있는 데스크톱 컴퓨터.
• 댓글의 수량(단어 수)과 품질(명확성, 구체성, 건설성 기준의 콘텐츠 분석을 통한 척도 평가)을 기준으로 동료 평가 댓글을 수집하고 분석하였다.
• 특정성, 실행 가능한 피드백, 기술적 정확성 등의 기준에 따라 댓글 품질을 평가하기 위해 표준화된 척도를 사용하였다.
• 세 인터페이스 유형 간 평균 댓글 품질과 수량을 비교하기 위해 통계 분석(One-way ANOVA)을 사용하였다.
• 학생들이 사용한 인터페이스 선호도와 그 효과성에 대한 주관적 평가를 수집하였다.

실험 결과

연구 질문

• RQ1 동료 평가에 사용된 인터페이스 스타일이 생성된 댓글의 수량에 유의미한 영향을 미치는가?
• RQ2 인터페이스 스타일이 UML 설계에 대한 동료 평가 댓글의 품질에 유의미한 영향을 미치는가?
• RQ3 학생들은 태블릿-PC와 같은 특정 인터페이스를 다른 것들보다 더 효과적이나 직관적으로 느끼는가?
• RQ4 손으로 쓴(태블릿) 댓글과 타이핑한(데스크톱/종이) 댓글 간 피드백 깊이 또는 특정성에 유의미한 차이가 있는가?
• RQ5 학생들은 각기 다른 인터페이스를 사용하면서 편안함과 피드백 품질에 대한 주관적 경험에서 어떻게 비교되는가?

주요 결과

• 태블릿-PC를 사용한 학생들이 펜과 종이 또는 데스크톱 컴퓨터를 사용한 학생들보다 단어 수 측면에서 유의미하게 더 많은 댓글을 생성하였다.
• 태블릿-PC 사용자는 특히 특정성과 건설적인 피드백 측면에서 품질이 유의미하게 높은 댓글을 생성하였다.
• 태블릿-PC 사용자의 평균 댓글 길이는 128단어였으며, 펜과 종이 사용자는 76단어, 데스크톱 사용자는 64단어였다.
• 일원 분산분석(one-way ANOVA) 결과, 세 인터페이스 유형 간 댓글 품질에 통계적으로 유의미한 차이가 있었다(p < 0.01).
• 태블릿-PC를 사용한 학생들은 다른 방법에 비해 피드백 표현에 더 큰 편안함과 효과성을 느꼈다.
• 정성적 피드백에 따르면, 스타일러스로 쓰는 촉각적 경험은 검토 과정 중 집중도와 성찰을 향상시켰다.