[논문 리뷰] BloomNet: A Robust Transformer based model for Bloom's Learning Outcome Classification

Abdul Waheed, Muskan Goyal외 4명|arXiv (Cornell University)|2021. 08. 16.

Text and Document Classification Technologies인용 수 6

한 줄 요약

BloomNet는 언어적 및 의미적 특징을 통합한 새로운 트랜스포머 기반 모델로, 과정 학습 결과를 블룸의 Taxonomy의 여섯 가지 인지 수준으로 분류한다. 이는 최신 기술 수준의 성능과 뛰어난 분포 외 일반화 능력을 보이며, RoBERTa 및 DistilRoBERTa와 같은 강력한 베이스라인을 능가한다. 내부 데이터에서 매크로-F1은 87.23%이며, 분포 변화에 대해서도 강건하다.

ABSTRACT

Bloom taxonomy is a common paradigm for categorizing educational learning objectives into three learning levels: cognitive, affective, and psychomotor. For the optimization of educational programs, it is crucial to design course learning outcomes (CLOs) according to the different cognitive levels of Bloom Taxonomy. Usually, administrators of the institutions manually complete the tedious work of mapping CLOs and examination questions to Bloom taxonomy levels. To address this issue, we propose a transformer-based model named BloomNet that captures linguistic as well semantic information to classify the course learning outcomes (CLOs). We compare BloomNet with a diverse set of basic as well as strong baselines and we observe that our model performs better than all the experimented baselines. Further, we also test the generalization capability of BloomNet by evaluating it on different distributions which our model does not encounter during training and we observe that our model is less susceptible to distribution shift compared to the other considered models. We support our findings by performing extensive result analysis. In ablation study we observe that on explicitly encapsulating the linguistic information along with semantic information improves the model on IID (independent and identically distributed) performance as well as OOD (out-of-distribution) generalization capability.

연구 동기 및 목표

• 과정 학습 결과(CLO)를 블룸의 Taxonomy의 인지 수준으로 자동 분류하여 커리큘럼 설계의 수동 작업을 줄이기.
• 실제 교육 NLP 응용에서 흔한 분포 외 데이터에 대한 일반화 능력을 향상시켜 모델의 강건성을 제고하기.
• 품사 태깅 및 명명된 실체 인식과 같은 언어적 특징과 의미적 표현이 분류 성능 향상에 기여하는지 조사하기.
• 최신 트랜스포머 모델이 교육 분야, 특히 인지 영역 분류에 어떻게 적용되는지 평가하기.
• 교육 NLP 분야에서 블룸의 Taxonomy 분류에 대한 다중 도메인 및 교차 데이터셋 일반화의 격차를 해소하기.

제안 방법

• BloomNet는 CLO 텍스트의 깊은 문맥적 의미를 포착하기 위해 RoBERTa 기반 언어 인코더를 사용한다.
• 품사(POS) 및 명명된 실체 인식(NER) 특징을 처리하는 언어적 봉인 모듈을 통합하여 문법적 및 의미적 입력을 풍부하게 한다.
• 인지 수준 분류에 관련된 핵심 단어 및 어구에 집중하기 위해 계층적 단어 주의 메커니즘을 적용한다.
• 교차 검증을 통해 안정성을 확보하기 위해 두 데이터셋(각각 600건 및 141건)에서 종합적으로 미세조정한다.
• 학습 중에 볼 수 없었던 데이터 분포에서의 일반화 능력을 평가하기 위해 OOD 일반화 테스트를 실시한다.
• 제거 실험을 통해 단어 주의와 언어적 봉인 모듈의 기여도를 분리하여 내부 및 외부 데이터 성능에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 모델이 블룸의 Taxonomy의 여섯 가지 인지 수준으로 과정 학습 결과를 효과적으로 분류할 수 있는가?
• RQ2 품사(POS) 및 명명된 실체 인식(NER)과 같은 언어적 특징을 의미 모델링과 통합할 경우, 순수 의미 모델링 대비 분류 정확도와 OOD 일반화 능력이 어떻게 향상되는가?
• RQ3 RoBERTa와 같은 사전 훈련된 트랜스포머 모델은 교육 결과 분류 맥락에서 분포 외 데이터로 일반화하는 데 잘 작동하는가?
• RQ4 단어 수준의 주의와 언어적 특징 봉인 모듈이 모델 성능 및 강건성에 기여하는 상대적 기여도는 무엇인가?
• RQ5 CNN, LSTM 및 기타 트랜스포머 모델과 같은 강력한 베이스라인과 비교할 때 BloomNet의 성능 및 일반화 능력은 어떻게 되는가?

주요 결과

• BloomNet는 내부 데이터(IID)에서 매크로-F1 점수 87.23%를 기록하여 RoBERTa(81.67%) 및 기타 베이스라인을 크게 앞서며 성능을 뛰어나게 한다.
• 제거 실험 결과, 단어 주의와 언어적 봉인 모듈를 함께 사용할 경우 성능이 가장 높으며, RoBERTa 대비 매크로-F1에서 5.56%p 향상되었다.
• IID 성능이 뛰어난 모델, 특히 BloomNet와 사전 훈련된 트랜스포머 모델은 OOD 일반화 능력도 뛰어나지만, 모든 사전 훈련된 모델이 OOD 데이터에서 약 20% 성능 저하를 보였다.
• 언어적 봉인 모듈은 OOD 일반화 능력을 향상시켰으며, 이는 문법적 및 명명된 실체 특징이 모델이 표면적인 통계적 신호를 넘어서 일반화하는 데 기여함을 시사한다.
• 단어 주의만으로도 RoBERTa 대비 매크로-F1에서 약 2.1%p 향상되었으며, 이는 핵심 어휘 요소에 집중함으로써 분류 성능 향상이 가능함을 나타낸다.
• 작은 데이터셋 크기(600건 및 141건)에도 불구하고 BloomNet는 교차 검증을 통해 일관된 성능 유지를 보이며, 제한된 데이터 조건에서도 안정성을 유지함을 확인했다.