[논문 리뷰] Redesigning Computer-based Learning Environments: Evaluation as Communication

Matthias R. Brust, C. Adriano외 1명|ArXiv.org|2007. 06. 08.

Evaluation and Performance Assessment참고 문헌 10인용 수 3

한 줄 요약

이 논문은 컴퓨터 기반 학습 환경에서 평가를 교사, 학생, 동료, 기관 간의 암묵적이고 규칙 기반의 의사소통 형태로 재구성함으로써 평가 연구의 인지론적 약점을 극복하고자 한다. 커뮤니케이션 스터디, 철학, 인류학의 통찰을 바탕으로, 평가를 암묵적이고 사회적으로 협의된 과정으로 재정의함으로써 전통적인 CBT 모델의 한계를 넘어서 더 탄탄하고 인간 중심적인 평가 프레임워크를 구축하고자 한다.

ABSTRACT

In the field of evaluation research, computer scientists live constantly upon dilemmas and conflicting theories. As evaluation is differently perceived and modeled among educational areas, it is not difficult to become trapped in dilemmas, which reflects an epistemological weakness. Additionally, designing and developing a computer-based learning scenario is not an easy task. Advancing further, with end-users probing the system in realistic settings, is even harder. Computer science research in evaluation faces an immense challenge, having to cope with contributions from several conflicting and controversial research fields. We believe that deep changes must be made in our field if we are to advance beyond the CBT (computer-based training) learning model and to build an adequate epistemology for this challenge. The first task is to relocate our field by building upon recent results from philosophy, psychology, social sciences, and engineering. In this article we locate evaluation in respect to communication studies. Evaluation presupposes a definition of goals to be reached, and we suggest that it is, by many means, a silent communication between teacher and student, peers, and institutional entities. If we accept that evaluation can be viewed as set of invisible rules known by nobody, but somehow understood by everybody, we should add anthropological inquiries to our research toolkit. The paper is organized around some elements of the social communication and how they convey new insights to evaluation research for computer and related scientists. We found some technical limitations and offer discussions on how we relate to technology at same time we establish expectancies and perceive others work.

연구 동기 및 목표

• 컴퓨터 과학 및 교육 분야의 평가 연구에서 발생하는 인지론적 약점을 해결하기 위해, 특히 컴퓨터 기반 학습(CBL) 환경에서의 평가에 초점을 맞춘다.
• 평가를 기술적 측정이 아닌 의사소통 과정으로 재정의함으로써 전통적인 CBT(컴퓨터 기반 훈련) 모델의 한계를 넘어서고자 한다.
• 커뮤니케이션 스터디, 철학, 심리학, 인류학의 통찰을 컴퓨터 과학자들이 평가 연구에 통합하도록 유도한다.
• 컴퓨터 기반 학습 시스템을 평가하기 위한 더 인간 중심적이고 사회적으로 기초화된 인지론을 확립하고자 한다.
• 현실적인 학습 환경에서의 시스템 설계 및 사용자 기대에 대한 기술적 및 인지적 과제를 해결하고자 한다.

제안 방법

• 스테이크홀더 간의 암묵적이고 묵시적인 의사소통 형태로 평가를 재정의하며, 공유된 암묵적인 규칙과 유사하게 작동하도록 한다.
• 커뮤니케이션 이론을 활용하여 교사, 학생, 동료, 기관 간의 상호 이해와 기대 설정 과정으로 평가를 프레임워크화한다.
• 인류학적 시각을 통합하여 평가 기준이 공식적으로 표현되지 않더라도 암묵적으로 안다가 실천되는 방식을 이해한다.
• 기술이 평가 과정에서 사용자 기대와 인식을 어떻게 형성하는지 분석하며, 인간-기술 상호작용의 중요성을 강조한다.
• 사회과학과 공학 분야의 다학제적 프레임워크를 활용하여 CBL 시스템의 평가 과정 설계에 기여한다.
• 기술적 지표에서 사회적-의사소통적 모델로의 전환을 제안하여 실제 학습 역동성을 반영한 평가 모델을 구축한다.

실험 결과

연구 질문

• RQ1 컴퓨터 기반 학습 환경에서의 평가는 기술적 측정이 아니라 의사소통의 형태로 재해석될 수 있는가?
• RQ2 교육 분야의 스테이크홀더 간 평가 과정에서 암묵적이고 공유된 규칙은 어떤 역할을 하는가?
• RQ3 커뮤니케이션 스터디와 인류학의 통찰은 교육 기술 분야의 평가 인지론을 어떻게 향상시킬 수 있는가?
• RQ4 기술적 시스템은 평가 과정에서 사용자 기대와 인식을 어떻게 형성하는가?
• RQ5 사회적 및 의사소통적 차원을 통합함으로써 CBT 모델을 초월한 평가는 어떻게 실현될 수 있는가?

주요 결과

• 평가의 가장 적절한 이해 방식은 스테이크홀더 간 공유된 암묵적인 기대를 바탕으로 작동하는 묵시적 규칙 기반 의사소통 형태이다.
• 평가에 명시적인 규칙이 없더라도 그 구조가 없는 것은 아니며, 오히려 목표와 성공의 사회적으로 협의된, 인류학적 이해 방식을 반영한다.
• 기존의 CBT 모델은 학습 평가의 사회적 및 의사소통적 차원을 충분히 반영하지 못해 인지론적 약점을 노출한다.
• 커뮤니케이션 이론과 인류학을 평가 연구에 통합함으로써 사용자가 학습 시스템을 어떻게 해석하고 반응하는지에 대한 깊은 이해가 가능해진다.
• 평가의 기술적 한계는 시스템 설계뿐 아니라 암묵적인 사회적 규범에 의해 형성된 기대의 불일치에서 기인하기도 한다.
• 평가를 정적인 결과 평가가 아니라 동적인 사회적-의사소통 과정으로 간주하는 새로운 인지론이 필요하다.