[論文レビュー] BloomNet: A Robust Transformer based model for Bloom's Learning Outcome Classification

Abdul Waheed, Muskan Goyal+4 more|arXiv (Cornell University)|Aug 16, 2021

Text and Document Classification Technologies被引用数 6

ひとこと要約

BloomNet は、言語的および意味的特徴を統合したトランスフォーマー基盤のモデルであり、コース学習成果物をブルームの taxonomy の6つの認知的レベルに分類する。最先端の性能を達成し、分布外一般化性に優れ、RoBERTa や DistilRoBERTa などの強力なベースラインを上回る。分布内データではマクロ-F1が87.23%を記録し、分布シフトに対しても頑健である。

ABSTRACT

Bloom taxonomy is a common paradigm for categorizing educational learning objectives into three learning levels: cognitive, affective, and psychomotor. For the optimization of educational programs, it is crucial to design course learning outcomes (CLOs) according to the different cognitive levels of Bloom Taxonomy. Usually, administrators of the institutions manually complete the tedious work of mapping CLOs and examination questions to Bloom taxonomy levels. To address this issue, we propose a transformer-based model named BloomNet that captures linguistic as well semantic information to classify the course learning outcomes (CLOs). We compare BloomNet with a diverse set of basic as well as strong baselines and we observe that our model performs better than all the experimented baselines. Further, we also test the generalization capability of BloomNet by evaluating it on different distributions which our model does not encounter during training and we observe that our model is less susceptible to distribution shift compared to the other considered models. We support our findings by performing extensive result analysis. In ablation study we observe that on explicitly encapsulating the linguistic information along with semantic information improves the model on IID (independent and identically distributed) performance as well as OOD (out-of-distribution) generalization capability.

研究の動機と目的

• コース学習成果物（CLOs）をブルームの taxonomy の認知的レベルに自動分類することで、カリキュラム設計における人的作業を削減すること。
• 分布外（OOD）データへの一般化能力を高めることでモデルの頑健性を向上させること。これは、教育分野の NLP 応用において一般的に見られる問題である。
• 品詞（POS）や固有表現抽出（NER）などの言語的特徴と、意味的表現の両方の貢献が、分類性能向上にどのように寄与するかを調査すること。
• 最新のトランスフォーマー モデルが教育分野、特に認知的ドメイン分類においてどの程度有効であるかを評価すること。
• 教育 NLP 分野におけるブルームの taxonomy 分類における、マルチドメイン・クロスデータセット一般化のギャップを埋めること。

提案手法

• BloomNet は、CLO テキストからの深い文脈的意味を捉えるために、RoBERTa をベースとした言語エンコーダーを採用している。
• 品詞（POS）および固有表現抽出（NER）特徴を処理する言語的カプセル化モジュールを統合し、構文的および意味的入力を強化している。
• 認知的レベル分類に関連するキーワードやフレーズに注目するため、階層的単語アテンション機構を適用している。
• 交差検証を用いて安定性を確保するため、600 および 141 のサンプルをそれぞれ有する2つのデータセット上で、エンドツーエンドにファインチューニングしている。
• トレーニング中に見られなかったデータ分布に対する OOD 一般化テストを通じて、モデルの頑健性を評価している。
• アブレーションスタディにより、単語アテンションと言語的カプセル化の貢献を分離し、分布内および分布外の両方のパフォーマンスに与える影響を評価している。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー基盤のモデルは、ブルームの taxonomy の6つの認知的レベルに、コース学習成果物を効果的に分類できるか？
• RQ2 品詞（POS）および固有表現抽出（NER）といった言語的特徴を統合することで、純粋な意味的モデリングと比較して、分類精度と OOD 一般化性がどのように向上するか？
• RQ3 RoBERTa などの事前学習済みトランスフォーマー モデルは、教育的成果物分類の文脈において、分布外データに対しても良好に一般化できるか？
• RQ4 単語レベルのアテンションと言語的特徴カプセル化の相対的貢献は、モデルのパフォーマンスと頑健性にどのように影響するか？
• RQ5 CNN や LSTM、他のトランスフォーマー モデルといった強力なベースラインと比較して、BloomNet のパフォーマンスと一般化能力はどのように異なるか？

主な発見

• BloomNet は、分布内（IID）データでマクロ-F1スコア 87.23% を達成し、RoBERTa（81.67%）や他のベースラインを顕著に上回った。
• アブレーションスタディの結果、単語アテンションと言語的カプセル化を組み合わせた場合が最高のパフォーマンスを示し、RoBERTa よりもマクロ-F1 で 5.56 パcentage ポints の向上を達成した。
• IID パフォーマンスが優れたモデル、特に BloomNet や事前学習済みトランスフォーマーは、OOD 一般化能力も優れていたが、すべての事前学習済みモデルが OOD データで約 20% のパフォーマンス低下を示した。
• 言語的カプセル化モジュールは OOD 一般化性を向上させた。これは、構文的および固有表現特徴が、表面的な統計的ヒントを超えた一般化を助ける可能性を示唆している。
• 単語アテンションのみを用いる場合でも、RoBERTa よりもマクロ-F1 で約 2.1% の向上を達成した。これは、キーワード要因に注目することで分類性能が向上することを示している。
• 600 および 141 のサンプルという小さなデータセットでも、BloomNet は交差検証において一貫したパフォーマンスを維持しており、限られたデータ下でも安定性があることが示された。