[논문 리뷰] An Iterative Transfer Learning Based Ensemble Technique for Automatic Short Answer Grading

Shourya Roy, Himanshu S. Bhatt외 1명|arXiv (Cornell University)|2016. 09. 16.

Topic Modeling참고 문헌 36인용 수 13

한 줄 요약

이 논문은 TF-IDF를 사용하는 텍스트 분류기와 모델 답변 간 유사도 메트릭을 기반으로 하는 수치 유사도 분류기를 조합한 반복적 전이 학습 기반 앙상블 모델을 제안한다. 캐논컬 상관분석을 활용한 전이 학습을 통해, 타겟 질문에 대한 레이블이 없는 상황에서도 SemEval-2013 SciEdu 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 모든 수상한 지도 학습 기반 참가자들보다 뛰어난 성능을 보였다.

ABSTRACT

Automatic short answer grading (ASAG) techniques are designed to automatically assess short answers to questions in natural language, having a length of a few words to a few sentences. Supervised ASAG techniques have been demonstrated to be effective but suffer from a couple of key practical limitations. They are greatly reliant on instructor provided model answers and need labeled training data in the form of graded student answers for every assessment task. To overcome these, in this paper, we introduce an ASAG technique with two novel features. We propose an iterative technique on an ensemble of (a) a text classifier of student answers and (b) a classifier using numeric features derived from various similarity measures with respect to model answers. Second, we employ canonical correlation analysis based transfer learning on a common feature representation to build the classifier ensemble for questions having no labelled data. The proposed technique handsomely beats all winning supervised entries on the SCIENTSBANK dataset from the Student Response Analysis task of SemEval 2013. Additionally, we demonstrate generalizability and benefits of the proposed technique through evaluation on multiple ASAG datasets from different subject topics and standards.

연구 동기 및 목표

• 모든 평가 과제에 대해 레이블이 있는 학습 데이터와 모델 답변이 필요한 지도 학습 기반 자동 단답항목 채점 방법의 실용적 한계를 해결하기 위해.
• 다양한 과목 주제와 채점 체계에 일반화되는 강력하고 데이터 효율적인 자동 단답항목 채점 기법을 개발하기 위해.
• 타겟 질문에 대해 레이블이 없는 학생 응답이 없더라도 효과적인 자동 채점이 가능하도록 하기 위해.
• 지속적인 레이블 데이터에 의존도를 줄이기 위해 전이 학습이 지도 학습 기반 자동 단답항목 채점에 얼마나 실현 가능하고 효과적인지 탐색하기 위해.

제안 방법

• 학생 응답에 대해 훈련된 TF-IDF 기반 텍스트 분류기와 학생 응답과 모델 응답 간 유사도 메트릭(예: F1, 코사인, Lesk)을 사용하는 수치 유사도 분류기를 조합한다.
• 원천 질문과 타겟 질문 간의 공통 저차원 특징 공간을 학습하기 위해 캐논컬 상관분석(CCA)을 활용하여 전이 학습을 수행한다.
• 두 분류기 간 일관성을 기반으로 예측을 재가중하여 앙상블 분류기를 반복적으로 개선하는 프로세스를 사용한다.
• 타겟 질문에 대한 레이블이 없더라도, 데이터셋 내 다른 20개 질문의 지식을 활용하여 타겟 질문의 분류기를 초기화함으로써 전이 학습을 적용한다.
• 예측의 안정성을 향상시키기 위해 두 분류기의 출력을 학습된 가중치를 사용해 조합하는 가중치 기반 앙상블 전략을 사용한다.
• 한 질문을 제외한 나머지 데이터로의 교차 검증을 수행하고, 다양한 데이터셋과 채점 세분성에 걸쳐 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 텍스트 및 수치 유사도 분류기의 앙상블이 단일 모델 기반 접근 방식을 뛰어넘어 자동 단답항목 채점 성능을 향상시킬 수 있는가?
• RQ2 캐논컬 상관분석 기반 전이 학습이 새로운 질문에 대해 레이블이 없는 상태에서(제로샷 또는 희소샷) 자동 단답항목 채점에 얼마나 효과적인가?
• RQ3 반복적 개선 프로세스가 다양한 질문 유형과 주제 분야에서 모델 수렴성과 예측 정확도를 향상시키는가?
• RQ4 채점 체계의 세분성(예: 2단계 vs. 11단계)이 제안된 전이 학습 기반 자동 단답항목 채점 프레임워크의 성능에 미치는 영향은 무엇인가?

주요 결과

• 제안된 방법은 SemEval-2013 SciEdu 데이터셋에서 모든 수상한 지도 학습 기반 참가자들을 능가하여 자동 단답항목 채점 분야에서 최고 성능을 달성했다.
• CSD 데이터셋에서 기반 분류기로 로지스틱 회귀를 사용한 결과, 평균 절대 오차(MAE)는 1.07을 기록하여 LDA(MAE=1.63)와 AdaBoost(MAE=1.58)보다 뚜렷이 뛰어났다.
• 반복 알고리즘은 대부분의 질문에서 5~6회 반복 내에 수렴하여 안정적이고 효율적인 학습 동역학을 보였다.
• 채점 체계가 더 희박한 경우 성능이 향상되었으며, 11단계(0.5단계 간격)에서 2단계(정답/오답)로 전환할수록 MAE가 감소하여 희박한 데이터 상황에서도 더 나은 일반화 능력을 보였다.
• 기본 벤치마크 외의 여러 자동 단답항목 채점 데이터셋에서의 평가를 통해, 다양한 과목 주제와 채점 기준 간에도 잘 일반화됨을 입증하였다.
• 최소한의 레이블 데이터가 존재하는 상황에서도 효과적으로 작동하여, CCA 기반 특징 정렬을 통한 강력한 전이 학습 능력을 보였다.