[論文レビュー] A literature survey on student feedback assessment tools and their usage in sentiment analysis

Himali Aryal|arXiv (Cornell University)|Sep 9, 2021

Online Learning and Analytics参考文献 59被引用数 4

ひとこと要約

本稿では、オンライン教育におけるフィードバック評価ツール（Kahoot!、Mentimeter、Padletなど）を調査し、定性的フィードバックから学生の態度を抽出するためのセンチメント分析フレームワークを提案する。Kahoot!が最も広く使用されていると特定され、特定のツールからのセンチメント分析に関する研究ギャップが浮き彫りになり、データ収集、前処理、特徴抽出、分類器の学習を含むパイプラインの構築を提案する。

ABSTRACT

Online learning is becoming increasingly popular, whether for convenience, to accommodate work hours, or simply to have the freedom to study from anywhere. Especially, during the Covid-19 pandemic, it has become the only viable option for learning. The effectiveness of teaching various hard-core programming courses with a mix of theoretical content is determined by the student interaction and responses. In contrast to a digital lecture through Zoom or Teams, a lecturer may rapidly acquire such responses from students' facial expressions, behavior, and attitude in a physical session, even if the listener is largely idle and non-interactive. However, student assessment in virtual learning is a challenging task. Despite the challenges, different technologies are progressively being integrated into teaching environments to boost student engagement and motivation. In this paper, we evaluate the effectiveness of various in-class feedback assessment methods such as Kahoot!, Mentimeter, Padlet, and polling to assist a lecturer in obtaining real-time feedback from students throughout a session and adapting the teaching style accordingly. Furthermore, some of the topics covered by student suggestions include tutor suggestions, enhancing teaching style, course content, and other subjects. Any input gives the instructor valuable insight into how to improve the student's learning experience, however, manually going through all of the qualitative comments and extracting the ideas is tedious. Thus, in this paper, we propose a sentiment analysis model for extracting the explicit suggestions from the students' qualitative feedback comments.

研究の動機と目的

• Kahoot!、Mentimeter、Padlet などのデジタルフィードバックツールがオンライン学習環境でどの程度効果的であるかを評価すること。
• これらのツールを通じて収集された定性的フィードバックに対するセンチメント分析の利用法を調査し、学生の態度を理解すること。
• Coursera などの一般プラットフォームとは異なり、評価ツールからのフィードバックに特化したセンチメント分析における研究ギャップを特定すること。
• 学生フィードバックに基づくリアルタイムでの授業適応を実現するための構造的なセンチメント分析パイプラインを提案すること。

提案手法

• 2021年秋学期の授業において、Kahoot!、Mentimeter、Padlet を通じて学生のフィードバックを収集した。
• キャップタイピングの正規化、ストップワードの除去、標 punctua­tion の除去、感嘆符・疑問符の処理を含むテキスト前処理。
• 単語頻度、品詞タギング、否定語検出、および SentiWordNet や WordNet などの語彙的リソースを統合して意味的文脈を抽出する特徴抽出。
• ナイーブベイズ、サポートベクターマシン、畳み込みニューラルネットワーク（CNN）などの複数の分類器を用いたモデル学習。
• オントロジーと同義語辞書を活用し、学生のコメントにおける意味的表現と意見検出の精度を向上させた。
• 異なる特徴セットとアルゴリズムを用いたモデルの性能評価を通じて、最適な構成を同定した。

実験結果

リサーチクエスチョン

• RQ1 2015年から2021年の間に、フィードバック収集やクイズにデジタルツールを用いた論文は、合計で何編発表されたか？
• RQ2 フィードバック評価ツールに関する研究は、主にどの出版物に発表されているか？
• RQ3 研究において最も頻繁に取り上げられているフィードバック評価ツールはどれか？
• RQ4 フィードバックツールに関する研究の大部分は、いつごろに出現したか？
• RQ5 教育研究におけるフィードバック技術の評価に、最も広く使われている評価指標は何か？
• RQ6 ライブ授業中に学生フィードバックに基づくリアルタイムでの講義の適応は、どの程度効果的か？
• RQ7 Kahoot!、Mentimeter、Padlet などのツールからの定性的フィードバックに対して、どのようにセンチメント分析を効果的に適用できるか？

主な発見

• 調査対象の技術の中で、Kahoot! が最も人気のあるフィードバック評価ツールであると特定された。
• 文献調査のメタデータ分析には、合計で154件の論文が含まれた。
• Coursera やソーシャルメディアからのセンチメント分析に対しては広範な研究がなされている一方で、Kahoot! や Mentimeter、Padlet といった評価ツールからのフィードバックに対するセンチメント分析に関する研究は、依然としてほとんど未開拓である。
• 本研究では、リアルタイムフィードバックシステムが学生および教員の両方から好意的に受け入れられており、動的な教育適応を支援することが確認された。
• 提案されたセンチメント分析モデルには、データ前処理、語彙的データベースを用いた意味的特徴抽出、分類器の学習が含まれており、センチメント分類の精度向上に寄与する。
• 授業内評価ツールから収集されたフィードバックに特化したセンチメント分析の応用に関する顕著な研究ギャップが確認され、今後の研究分野としての必要性が示された。