[논문 리뷰] Deep learning for sentence clustering in essay grading support

Li-Hsin Chang, Iiro Rastas외 2명|arXiv (Cornell University)|2021. 04. 23.

Topic Modeling참고 문헌 33인용 수 8

한 줄 요약

이 논문은 핀란드 대학생 에세이에서 의미적으로 유사한 주장을 군집화하기 위해 딥러닝 기반 문장 임베딩 방법을 제안하며, 인간의 에세이 채점 지원을 목적으로 한다. 두 개의 수동으로 주석 처리된 핀란드어 에세이 데이터셋에서 TF-IDF, LASER, BERT, Sentence-BERT를 평가한 결과, 성능은 질문 유형에 따라 달라지며, 최신 기술 모델이 간단한 어휘 기반 방법보다는 약간의 성능 향상을 보였음을 확인하였다.

ABSTRACT

Essays as a form of assessment test student knowledge on a deeper level than short answer and multiple-choice questions. However, the manual evaluation of essays is time- and labor-consuming. Automatic clustering of essays, or their fragments, prior to manual evaluation presents a possible solution to reducing the effort required in the evaluation process. Such clustering presents numerous challenges due to the variability and ambiguity of natural language. In this paper, we introduce two datasets of undergraduate student essays in Finnish, manually annotated for salient arguments on the sentence level. Using these datasets, we evaluate several deep-learning embedding methods for their suitability to sentence clustering in support of essay grading. We find that the choice of the most suitable method depends on the nature of the exam question and the answers, with deep-learning methods being capable of, but not guaranteeing better performance over simpler methods based on lexical overlap.

연구 동기 및 목표

• 학생 에세이 간 의미적으로 유사한 주장을 자동으로 군집화하여 에세이 채점의 수동 작업을 줄이기 위해.
• 딥러닝 기반 문장 임베딩 기법이 TF-IDF와 같은 전통적인 어휘 기반 방법보다 에세이 내 복수 표현된 주장을 식별하는 데 더 우수한가를 조사하기 위해.
• 의견 식별을 위한 문장 수준의 수동 주석 처리된 핀란드어 에세이 데이터셋 두 개를 제작하고 공개하기 위해.
• 에세이 채점 지원을 위한 문장 수준 군집화에 다양한 임베딩 모델—TF-IDF, LASER, BERT, Sentence-BERT—의 효과를 평가하기 위해.
• 군집화의 실용적 응용, 예를 들어 학생 에세이를 기준 답변과 대조하거나 채점자가 군집을 수동으로 조정할 수 있도록 지원하는 방법을 탐색하기 위해.

제안 방법

• 핀란드 대학 학생 에세이 두 세트를 수기 주석 처리하여, 두 가지 다른 시험 문제에 대해 문장 수준에서 주요 주장을 표시하였다.
• 다양한 임베딩 방법을 적용: TF-IDF(역빈도 가중 단어 집합), LASER(다국어 문장 인코더), BERT, Sentence-BERT(의미 유사도에 최적화된 미세조정).
• 문장 임베딩 간 코사인 유사도를 사용해 의미적 유사도를 측정하고, 계층적 군집화 등의 군집 알고리즘을 통해 군집을 형성하였다.
• 수동 주석 처리된 주장 레이블 기반으로 Adjusted Rand Index(ARI) 및 F1-score와 같은 표준 지표를 사용해 군집 성능을 평가하였다.
• 이 작업을 정보 검색(질의 문장과 유사한 문장을 매칭)과 비지도 군집화(의미적으로 동일한 문장을 그룹화)의 두 관점에서 다루었다.
• 다양한 유형의 시험 문제와 주장 구조에서의 모델 성능 비교를 위한 분석 실험을 수행하였다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 문장 임베딩 기법은 학생 에세이 내에서 다양한 표현으로 서술된 의미적으로 동일한 주장을 효과적으로 군집화할 수 있는가?
• RQ2 최신 기술 모델인 Sentence-BERT와 BERT는 TF-IDF와 같은 간단한 방법보다 에세이 수준의 주장 유사성 군집화 성능에서 어떻게 비교되는가?
• RQ3 임베딩 모델의 성능은 시험 문제의 특성과 학생 답변의 구조에 따라 달라지는가?
• RQ4 어휘 일치 기반 방법이 신경망 임베딩 기반 방법보다 복수 표현된 주장을 포괄하는 데서 얼마나 더 잘 또는 못하는가?
• RQ5 생성된 군집이 기준 답변이나 채점 기준과의 일치를 식별하거나 채점자가 수동으로 조정할 수 있도록 실용적으로 활용될 수 있는가?

주요 결과

• 단일한 딥러닝 기법이 항상 다른 모든 기법보다 뛰어나지 않았으며, 최고의 성능을 보인 모델은 특정 시험 문제와 주장 구조에 따라 달라졌다.
• 최고의 딥러닝 기법(Sentence-BERT)과 TF-IDF 기반 기준선 간 성능 격차는 비교적 작았으며, 이는 이 설정에서 복잡한 모델이 가져오는 성능 향상이 제한적임을 시사한다.
• Sentence-BERT는 두 데이터셋에서 평균 F1-score가 가장 높았지만, TF-IDF 대비 향상 폭은 미미했고, 항상 통계적으로 유의미한 것은 아니었다.
• 군집화 품질은 개별 문장 내 주장의 통일성과 명확성에 매우 민감했으며, 다중 주장을 포함한 문장은 정확한 주석 처리와 군집화에 도전 과제를 안겼다.
• 조각나 있거나 맥락 의존적인 주장이 포함된 에세이에서는 의미가 문장 수준에서 완전히 표현되지 않아 군집화 성능이 낮았다.
• 결과적으로 딥러닝 임베딩 기법은 의미적 유사성을 포착할 수는 있지만, 도메인 특화되거나 맥락에 민감한 글쓰기에서는 간단한 어휘 기반 방법보다 성능이 뛰어나다고 보장하지 못함을 시사한다.