[論文レビュー] A pilot study of the use of LogEx, lessons learned

Josje Lodder, Bastiaan Heeren+1 more|arXiv (Cornell University)|Jul 14, 2015

Intelligent Tutoring Systems and Adaptive Learning参考文献 9被引用数 3

ひとこと要約

本パイロット研究では、標準的同等性を用いた命題論理の再書き換えを教授するためのeラーニングツールLogExの有効性を評価する。学生は規則適用および式の正規化において向上を示すが、解決戦略に関するフィードバックが不十分なため戦略的洞察に欠ける。この結果、大規模な評価のための強化されたフィードバックとログ記録の導入が提案される。

ABSTRACT

LogEx is a learning environment that supports students in rewriting propositional logical formulae, using standard equivalences. We organized a pilot study to prepare a large scale evaluation of the learning environment. In this paper we describe this study, together with the outcomes, which teach us valuable lessons for the large scale evaluation.

研究の動機と目的

• 標準的同等性を用いた命題論理の再書き換えを教授するeラーニング環境LogExの有効性を評価すること。
• 学生が規則適用、式の正規化、同等性の証明といったコアな能力を、このツールを通じて習得しているかどうかを評価すること。
• 大規模なLogExの評価の設計を支援するため、ユーザビリティおよびフィードバックの問題を同定すること。
• 観察された学生行動に基づき、特に戦略的意思決定に関するフィードバックメカニズムを改善すること。
• すべてのユーザ行動、特に元に戻し操作やヒントの使用を含めたログインfraストラクチャが、正確な学習成果分析を可能にするようにすること。

提案手法

• ユトレヒト大学の1年生を対象に、制御された教室環境でLogExを用いた小規模な実験を実施した。
• 3種類の演習（恒真性の証明、正規形への再書き換え、同等性の証明）における学習の向上を測るために、事前テストおよび事後テストを実施した。
• ステップバイステップの再書き換え、規則適用、ヒントの要求、元に戻し操作を含む、学生の相互作用の詳細なログデータを収集した。
• ログの分析を通じて、規則使用のパターン、戦略的発展、ヘルプ要求行動（特に非効率的または誤ったアプローチ）を特定した。
• 意味的チェックと事前に定義された「誤ったルール」のセットを用いて、誤った再書き換えに対するフィードバックを提供し、一般的な誤りの説明を含めた。
• フィードバックの種別（構文、規則、意味的、ヒントベース）が学生のパフォーマンスおよび学習成果に与える影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 LogExを用いることで、学生は命題論理の同等性をどの程度正しく適用できるようになるか？
• RQ2 LogExは、式をDNFおよびCNFに再書き換えること、同等性を証明することをどの程度効果的に支援しているか？
• RQ3 証明構築における戦略的洞察の獲得を妨げる主なユーザビリティおよびフィードバックの問題は何か？
• RQ4 学生はヒント、次のステップの提案、完全な解決策をどの程度使用し、それが学習成果にどのような影響を与えているか？
• RQ5 ログ記録の限界は、学生の学習および行動を正確に評価する能力にどのような影響を与えているか？

主な発見

• 事前テストおよび事後テストの結果から、学生は論理的規則の正しく適用および正規形への式の再書き換えにおいて顕著な向上を示した。
• 規則適用および正規化の進歩にもかかわらず、解決の効率性および経路選択の観点から測定した戦略的洞察の向上は示されなかった。
• 1人の学生が、繰り返し二重否定とド・モーガンの法則を用いる非最適な戦略を開発し、戦略に関するフィードバックが不足していたため、その戦略が持続した。
• ヒントや次のステップの機能を実際に使用したのは1名の学生にとどまり、完全な解決策の比較を用いたのは1名のみであり、ヒントの使用を避けている傾向が広がっていることが示された。
• システムは元に戻し操作をログに記録できず、解決の進捗を追跡できず、学生がステップを戻したり再修正したりした際の行動を特定する能力が制限された。
• 学生は分配則の可換変形について苦労しており、1ステップで可換な順序入れ替えが許可されていると誤って想定していた。これは、規則の適用範囲についての説明が不明瞭であることを示している。