[논문 리뷰] Similarity between Learning Outcomes from Course Objectives using Semantic Analysis, Blooms taxonomy and Corpus statistics

Atish Pawar, Vijay Mago|arXiv (Cornell University)|2018. 04. 17.

Natural Language Processing Techniques참고 문헌 10인용 수 3

한 줄 요약

이 논문은 높은 교육에서 학습 성과(Learning Outcomes, LOs)를 비교하기 위한 의미 유사도 프레임워크를 제안한다. 이는 WordNet 기반 의미 분석, 동사 수준의 인지 수준 비교를 위한 블룸의 분류 체계, 도메인 특화 코퍼스 통계를 통합하여 의미 모호성 해소를 향상시킨다. 이 방법은 인간 평가자와의 상관관계가 매우 높으며(r = 0.8753), 실제 강의의 학습 성과에 대해 뛰어난 성능을 보이며, 사용자 중 75%가 학점 인정 결정에 도움이 되는 결과를 제공한다고 평가했다.

ABSTRACT

The course description provided by instructors is an essential piece of information as it defines what is expected from the instructor and what he/she is going to deliver during a particular course. One of the key components of a course description is the Learning Objectives section. The contents of this section are used by program managers who are tasked to compare and match two different courses during the development of Transfer Agreements between various institutions. This research introduces the development of semantic similarity algorithms to calculate the similarity between two learning objectives of the same domain. We present a novel methodology which deals with the semantic similarity by using a previously established algorithm and integrating it with the domain corpus utilizing domain statistics. The disambiguated domain serves as a supervised learning data for the algorithm. We also introduce Bloom Index to calculate the similarity between action verbs in the Learning Objectives referring to the Blooms taxonomy.

연구 동기 및 목표

• 학점 인정 및 이관 합의 결정을 위한 강의 간 학습 성과(Learning Outcomes, LOs) 비교를 자동화하기 위해.
• 프로그램 관리자 및 도메인 전문가들이 수행하는 수작업 및 시간 소모적인 평가에 대한 의존도를 줄이기 위해.
• WordNet 기반의 의미 모호성 해소와 도메인 특화 코퍼스 통계를 통합하여 의미 유사도 정확도를 향상시키기 위해.
• 동사 분류를 통한 블룸의 분류 체계에 기반한 인지 수준 유사도를 측정하기 위해.
• 교수 기관 간 교과목 상호 인정 평가를 지원하는 확장 가능하고 도메인 인지 기반의 학습 성과 비교 방법을 개발하기 위해.

제안 방법

• WordNet의 동의어 집합(synsets)을 기반으로 수정된 의미 유사도 알고리즘을 사용하여 LO 간 단어 및 어구의 유사도를 계산한다.
• 도메인 특화 코퍼스를 활용한 단어의 의미 해석(Word Sense Disambiguation, WSD)을 적용하여 각 단어에 대해 맥락적으로 가장 적절한 동의어 집합을 선별한다.
• 코퍼스 통계(예: 의미의 빈도)를 활용하여 의미 모호성을 해소하고 의미 매칭의 정확도를 향상시킨다.
• 행동 동사를 블룸의 분류 체계의 계층적 수준에 매핑함으로써 동사 간의 유사도를 계산하는 데 사용되는 '블룸 지수(Bloom Index)'를 도입한다.
• 의미 유사도 점수와 블룸 지수 점수를 융합하여 LO 쌍에 대한 복합 유사도 측정치를 산출한다.
• 실제의 화학 및 교육 분야의 강의 학습 성과를 대상으로 인간 평가를 통한 신뢰성 확보를 위해 방법을 검증한다.

실험 결과

연구 질문

• RQ1 코퍼스 강화된 WordNet 기반의 의미 모호성 해소를 통해 학습 성과 간 의미 유사도를 정확하게 계산할 수 있는가?
• RQ2 블룸의 분류 체계를 통합할 경우, 학습 목표의 인지 수준 유사도 탐지 능력이 어느 정도 향상되는가?
• RQ3 제안된 방법은 인간 평가에 비해 자동화된 교과목 상호 인정 결정 지원에 얼마나 효과적인가?
• RQ4 도메인 특화 코퍼스의 품질과 크기는 의미 모호성 해소 정확도 및 전체 의미 유사도 성능에 어떤 영향을 미치는가?
• RQ5 의미 유사도와 인지 수준 유사도 측정치의 조합이 학점 인정 평가에 신뢰할 수 있는 결과를 도출할 수 있는가?

주요 결과

• 의미 유사도 알고리즘이 단어 유사도에 대해 기준 인간 평가와 피어슨 상관계수 0.8753을 기록하였다.
• 문장 유사도 구성 요소는 평균 인간 평가 유사도 점수와 상관계수 0.8794를 보이며, 인간의 인식과 강력한 일치를 보였다.
• 사용자 중 75% (15명 중 10명)가 유사도 결과의 75% 이상을 학점 인정 결정에 유용하다고 평가했다.
• 도메인 특화 코퍼스 통계를 활용한 의미 해석이 의미 선택 정확도를 크게 향상시켜 맥락적으로 부적절한 동의어 집합의 오류를 감소시켰다.
• 블룸 지수를 통해 행동 동사를 블룸의 분류 체계 수준에 매핑함으로써 학습 성과 간 인지 수준의 유사도를 효과적으로 파악하였다.
• 실제 학습 성과에 대한 검증에서 높은 유사도 점수(예: 0.9949)를 기록하며, 의미적으로 동일한 목표인 '결론을 도출하다'와 '자료를 분석하고 평가하다'를 정확히 식별하는 데 뛰어난 성능을 보였다.