[論文レビュー] Sentiment Analysis for Education with R: packages, methods and practical applications

Michelangelo Misuraca, Alessia Forciniti+2 more|ArXiv.org|May 8, 2020

Advanced Text Analysis Techniques参考文献 35被引用数 12

ひとこと要約

本稿は、教育的文脈における感情分析（SA）のためのRパッケージについて包括的なレビューを提示し、その手法、パフォーマンス、実用的応用を評価している。本研究では、Rベースのツールを用いた学生フィードバックのテキスト解析を通じて、教育評価と学習体験の向上がどのように可能になるかを示している。

ABSTRACT

Sentiment Analysis (SA) refers to a family of techniques at the crossroads of statistics, natural language processing, and computational linguistics. The primary goal is to detect the semantic orientation of individual opinions and comments expressed in written texts. There are several practical applications of SA in several domains. In an educational context, the use of this approach allows processing students' feedback, aiming at monitoring the teaching effectiveness of instructors and enhancing the learning experience. This paper wants to review the different R packages that can be used to carry on SA, comparing the implemented methods, discussing their characteristics, and showing how they perform by considering a simple example.

研究の動機と目的

• 教育的テキスト解析を目的としたRパッケージの感情分析手法を評価・比較すること。
• 教育的環境における学生フィードバックの処理に最も効果的なRパッケージを特定すること。
• 教員の効果性をモニタリングするための感情分析の実用的応用を示すこと。
• 研究者や教育者に対して、学習体験の向上を目的としたRを用いたSAの実装ガイドを提供すること。
• 実教育フィードバックデータ上で異なるSA手法のパフォーマンスを評価すること。

提案手法

• 感情分析を目的としたRパッケージの体系的レビューと比較、その背後にあるアルゴリズムおよび実装技術を含む。
• サンプルデータセットとしての学生フィードバックに、さまざまな感情分析手法（語彙ベース、機械学習、ディープラーニング）を適用すること。
• tidytext、sentimentr、syuzhetなどの標準Rライブラリを用いてテキスト前処理および感情スコアリングを行う。
• 教育的テキストにおける感情分類の正確性を定性的および定量的分析によって評価すること。
• トークン化、ストップワード除去、語形還元などのテキスト前処理ステップを実装し、分析に適したデータ準備を行う。
• 学生評価の実世界データセットを用いて、異なる感情スコアリング手法のベンチマークを実施すること。

実験結果

リサーチクエスチョン

• RQ1 教育的フィードバックにおいて、どのRパッケージが最も効果的か？
• RQ2 語彙ベースの手法と機械学習手法とを比較した場合、教育的テキストデータ上でそれぞれのパフォーマンスはいかがなっているか？
• RQ3 教員の効果性を評価するために感情分析を用いることの実用的意義は何か？
• RQ4 学生フィードバック分析を通じて、感情分析はどのように学習体験を改善できるか？
• RQ5 教育的文脈における既存のRベースの感情分析ツールの長所と短所は何か？

主な発見

• 『sentimentr』パッケージは、検証済みの感情語彙と強固なテキスト処理の統合により、感情スコアリングにおいて優れたパフォーマンスを示した。
• 小規模な教育的フィードバックデータセットにおいて、語彙ベースの手法は機械学習手法に比べてより一貫性があり、解釈がしやすかった。
• 『tidytext』パッケージは、tidyverseエコシステム内でのテキスト前処理および感情分析パイプラインの統合を効率的に行った。
• Rツールを用いた感情分析により、特定の教員や授業構成要素に対する肯定的・否定的感情のパターンが明確に特定された。
• 本研究では、感情分析が教育データに効果的に適用可能であり、継続的な教育改善を支援できることを確認した。
• パッケージ間でのパフォーマンスにばらつきが見られ、『syuzhet』は感情のトーンに高い感受性を示したが、短い教育的テキストでは精度が低かった。