[論文レビュー] Redesigning Computer-based Learning Environments: Evaluation as Communication

Matthias R. Brust, C. Adriano+1 more|ArXiv.org|Jun 8, 2007

Evaluation and Performance Assessment参考文献 10被引用数 3

ひとこと要約

本論文は、教育技術分野における評価研究の認識論的弱みを克服するため、通信学、哲学、人類学の知見を統合し、コンピュータベースの学習環境における評価を、教員、生徒、同級生、機関といった関係者間の静かでルールに基づくコミュニケーションの形態として再定式化することを提唱する。評価を暗黙的で社会的に合意されたプロセスとして位置づけることで、著者たちは、伝統的な CBT モデルの限界を超え、教育技術分野におけるより強固で人間中心の評価枠組みを構築するための、多様な分野の知見統合を提唱する。

ABSTRACT

In the field of evaluation research, computer scientists live constantly upon dilemmas and conflicting theories. As evaluation is differently perceived and modeled among educational areas, it is not difficult to become trapped in dilemmas, which reflects an epistemological weakness. Additionally, designing and developing a computer-based learning scenario is not an easy task. Advancing further, with end-users probing the system in realistic settings, is even harder. Computer science research in evaluation faces an immense challenge, having to cope with contributions from several conflicting and controversial research fields. We believe that deep changes must be made in our field if we are to advance beyond the CBT (computer-based training) learning model and to build an adequate epistemology for this challenge. The first task is to relocate our field by building upon recent results from philosophy, psychology, social sciences, and engineering. In this article we locate evaluation in respect to communication studies. Evaluation presupposes a definition of goals to be reached, and we suggest that it is, by many means, a silent communication between teacher and student, peers, and institutional entities. If we accept that evaluation can be viewed as set of invisible rules known by nobody, but somehow understood by everybody, we should add anthropological inquiries to our research toolkit. The paper is organized around some elements of the social communication and how they convey new insights to evaluation research for computer and related scientists. We found some technical limitations and offer discussions on how we relate to technology at same time we establish expectancies and perceive others work.

研究の動機と目的

• コンピュータ科学および教育分野における評価研究に内在する認識論的弱み、特にコンピュータベースの学習（CBL）環境におけるそれらを解決すること。
• 評価をコミュニケーションプロセスとして再定義することで、伝統的な CBT（コンピュータベースドトレーニング）モデルの限界を乗り越えること。
• 通信学、哲学、心理学、人類学の知見を、コンピュータ科学者による評価研究に統合すること。
• コンピュータベースの学習システムの評価に向け、より人間中心的で社会的根拠を持つ認識論を確立すること。
• 現実の学習環境におけるシステム設計およびユーザー期待に関する技術的・知覚的課題に対処すること。

提案手法

• 関係者間の静かで暗黙的なコミュニケーションの形態として評価を再概念化し、共通の未発表のルールに類似したものとする。
• 通信理論を活用し、教員、生徒、同級生、機関間の相互理解と期待設定プロセスとして評価をフレームワーク化すること。
• 人類学的視点を統合し、評価の基準が形式的に述べられていなくても、暗黙的に認識され実行されている様子を理解すること。
• 技術の役割が評価の過程で期待や認識をどのように形作っているかを分析し、人間と技術の相互作用に焦点を当てる。
• 社会科および工学分野の統合的フレームワークを活用し、CBLシステムにおける評価プロセスの設計を支援すること。
• 技術的指標から、現実の学習ダイナミクスを反映する社会的・コミュニケーション的モデルへの評価の転換を提言すること。

実験結果

リサーチクエスチョン

• RQ1 コンピュータベースの学習環境における評価を、技術的測定ではなくコミュニケーションの形態として再解釈することは可能か？
• RQ2 教育的関係者間の評価プロセスにおいて、未発表の共有ルールが果たす役割は何か？
• RQ3 通信学および人類学からの知見は、教育技術分野における評価の認識論をどのように改善できるか？
• RQ4 技術的システムは、評価の過程でユーザーの期待や認識をどのように形作っているか？
• RQ5 社会的およびコミュニケーション的側面を統合することで、CBTモデルを越える評価はどのように実現できるか？

主な発見

• 評価は、関係者間の共有された、しばしば明示されない期待に基づく、静かでルールに基づくコミュニケーションの形態として最も適切に理解されるべきである。
• 評価における明確なルールの欠如は、構造の欠如を意味するのではなく、目標や成功の定義が社会的に合意された、文化的な理解に基づくものであることを示している。
• 伝統的な CBT モデルは、学習評価における社会的およびコミュニケーション的側面を十分に反映しておらず、認識論的弱みを生じさせている。
• 通信理論および人類学の知見を評価研究に統合することで、ユーザーが学習システムをどのように解釈し、それに応答するかをより深く理解できるようになる。
• 評価における技術的限界は、システム設計の問題に起因するだけでなく、暗黙の社会的規範によって形作られた誤った期待にも起因している。
• 評価を静的かつ結果の測定としてではなく、動的で社会的・コミュニケーション的プロセスとして捉える、新たな認識論の構築が求められる。