[論文レビュー] Similarity between Learning Outcomes from Course Objectives using Semantic Analysis, Blooms taxonomy and Corpus statistics

Atish Pawar, Vijay Mago|arXiv (Cornell University)|Apr 17, 2018

Natural Language Processing Techniques参考文献 10被引用数 3

ひとこと要約

本論文は、WordNetに基づく意味解析、Bloomsの認知的レベル比較のためのBloomsのTaxonomy、ドメイン固有のコーパス統計を用いた意味あいまいさの解消を組み合わせることで、高等教育分野の学習成果（LOs）を比較する意味的類似性フレームワークを提案する。この手法は、人間によるアノテーションとの相関が高く（r = 0.8753）、実際のコースのLOに対して優れた性能を示し、75%のユーザーが結果が単位移転意思決定に役立つと評価した。

ABSTRACT

The course description provided by instructors is an essential piece of information as it defines what is expected from the instructor and what he/she is going to deliver during a particular course. One of the key components of a course description is the Learning Objectives section. The contents of this section are used by program managers who are tasked to compare and match two different courses during the development of Transfer Agreements between various institutions. This research introduces the development of semantic similarity algorithms to calculate the similarity between two learning objectives of the same domain. We present a novel methodology which deals with the semantic similarity by using a previously established algorithm and integrating it with the domain corpus utilizing domain statistics. The disambiguated domain serves as a supervised learning data for the algorithm. We also introduce Bloom Index to calculate the similarity between action verbs in the Learning Objectives referring to the Blooms taxonomy.

研究の動機と目的

• コース間の学習成果（LOs）の比較を自動化し、単位移転および移転協定意思決定を支援すること。
• プログラムマネージャーやドメイン専門家による手作業による時間のかかる評価に依存するのを減らすこと。
• ドメイン固有のコーパス統計をWordNetに基づく意味あいまいさ解消と統合することで、意味的類似性の正確性を向上させること。
• 動詞分類を用いてBloomsのTaxonomyの階層的レベルにマッピングすることで、LO間の認知的レベル類似性を定量化すること。
• スケーラブルでドメインに適応したLO比較手法を開発し、異なる機関間でのコース同等性評価を支援すること。

提案手法

• WordNetのsynsetに基づいた修正された意味的類似性アルゴリズムを用い、LO間の語およびフレーズの類似性を計算する。
• ドメイン固有のコーパスを用いた単語の意味のあいまいさ解消（WSD）を適用し、各単語に対して文脈的に最も適切なsynsetを選択する。
• コーパス統計（例：意味の頻度）を用いて意味のあいまいさを解消し、意味マッチングの正確性を向上させる。
• BloomsのTaxonomyの階層的レベルに動詞をマッピングすることで、行動動詞間の類似性を計算するためのBloomsインデックスを導入する。
• 意味的類似性スコアとBloomsインデックススコアを統合し、LOペアの複合類似性測度を生成する。
• 信頼性を検証するため、化学および教育分野の実際のコースLOを用い、人間による評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 コーパス強化型WordNetの意味あいまいさ解消を用いることで、学習成果間の意味的類似性を正確に計算できるか？
• RQ2 BloomsのTaxonomyを統合することで、学習目標における認知的レベル類似性の検出がどの程度向上するか？
• RQ3 提案手法は、人間の判断と比較して、自動化されたコース同等性意思決定にどの程度有効であるか？
• RQ4 ドメイン固有のコーパスの質とサイズは、意味あいまいさ解消の正確性および全体の類似性パフォーマンスにどのような影響を与えるか？
• RQ5 意味的類似性と認知的レベル類似性の指標を組み合わせることで、単位移転評価に信頼できる結果を得られるか？

主な発見

• 意味的類似性アルゴリズムは、ベンチマークとしての人的判断とのピアソン相関係数が0.8753に達した。
• 文の類似性コンponentは、平均的人的類似度スコアと0.8794の相関を示し、人的認識と強い整合性を示した。
• 15名中10名（75%）のユーザーが、類似性結果の75%以上を単位移転意思決定に役立つと評価した。
• ドメイン固有のコーパス統計を用いた意味あいまいさ解消は、文脈的に不適切なsynsetの選択を著しく減少させ、精度向上に寄与した。
• Bloomsインデックスは、行動動詞をBloomsのTaxonomyのレベルにマッピングすることで、LO間の認知的レベル類似性を効果的に捉えた。
• 本手法は、実世界のLOに対して頑健なパフォーマンスを示し、例として「結論を導く」と「データを検討・評価する」を意味的に同等と正しく特定する類似度スコア（例：0.9949）を達成した。