[논문 리뷰] Survey on Automated Short Answer Grading with Deep Learning: from Word Embeddings to Transformers

Stefan Haller, Adina Aldea외 2명|arXiv (Cornell University)|2022. 03. 11.

Topic Modeling인용 수 29

한 줄 요약

이 연구는 자동 단답형 채점(ASAG)을 위한 최근 딥러닝 접근법을 분석하여 손으로 설계된 특징과 딥 표현(특히 트랜스포머)을 결합하는 것이 최상의 결과를 얻는다고 제시하고 벤치마크 데이터셋과 향후 도전을 검토합니다.

ABSTRACT

Automated short answer grading (ASAG) has gained attention in education as a means to scale educational tasks to the growing number of students. Recent progress in Natural Language Processing and Machine Learning has largely influenced the field of ASAG, of which we survey the recent research advancements. We complement previous surveys by providing a comprehensive analysis of recently published methods that deploy deep learning approaches. In particular, we focus our analysis on the transition from hand engineered features to representation learning approaches, which learn representative features for the task at hand automatically from large corpora of data. We structure our analysis of deep learning methods along three categories: word embeddings, sequential models, and attention-based methods. Deep learning impacted ASAG differently than other fields of NLP, as we noticed that the learned representations alone do not contribute to achieve the best results, but they rather show to work in a complementary way with hand-engineered features. The best performance are indeed achieved by methods that combine the carefully hand-engineered features with the power of the semantic descriptions provided by the latest models, like transformers architectures. We identify challenges and provide an outlook on research direction that can be addressed in the future

연구 동기 및 목표

• 딥러닝이 손으로 설계된 특징과 비교하여 자동 단답형 채점을 어떻게 재구성하는지 평가한다.
• 표현 학습 단계별로 ASAG 방법을 분류한다: 단어 임베딩, 시퀀스 모델, 그리고 어텐션 기반 모델.
• 딥러닝을 ASAG에 사용할 때 손으로 설계된 특징의 영향과 역할을 평가한다.
• 도메인과 언어 간의 일반화 문제를 포함한 벤치마크 데이터셋을 식별한다.
• 딥러닝을 이용한 ASAG의 향후 연구 방향에 대한 지침을 제공한다.

제안 방법

• ASAG 방법의 텍스트 표현에 따른 분류 체계를 제공한다(손으로 설계된 특징, 단어 임베딩, 시퀀스 모델, 그리고 어텐션 기반 모델).
• 최근 ASAG에 대한 딥러닝 방법에 초점을 맞춘 반체계적 문헌 고찰을 수행한다.
• SciEntsBank, Beetle, Texas2011, ASAP-SAS를 포함한 벤치마크 데이터세트와 그 평가 프로토콜을 분석한다.
• 손으로 설계된 특징을 포함한 전통적 ML과 딥러닝 접근법 및 이들의 조합을 비교한다.
• 임베딩, RNN/LSTM, 트랜스포머 등 아키텍처 경향과 이들이 ASAG 성능에 미치는 영향을 논의한다.
• 다언어 및 교차 도메인 일반화의 도전과제와 향후 방향을 강조한다.

실험 결과

연구 질문

• RQ1 딥러닝 표현이 ASAG 성능에서 손으로 설계된 특징과 어떻게 비교되는가?
• RQ2 ASAG를 위한 시퀀스 모델과 어텐션 기반 모델의 추가 가치는 무엇인가?
• RQ3 전통적 특징과 결합했을 때 트랜스포머 기반 모델이 ASAG를 얼마나 개선하는가?
• RQ4 도메인과 언어 간 일반화를 위한 현재 ASAG 벤치마크의 한계는 무엇인가?
• RQ5 ASAG에서 언어 간 및 도메인 간 일반화를 다룰 수 있는 향후 연구 방향은 무엇인가?

주요 결과

• 딥러닝 방법이 점차 ASAG를 주도하고 있으며, 표현 학습이 개선의 핵심으로 자리잡고 있다.
• 표현 학습만으로는 ASAG 시스템에서 손으로 설계된 특징을 보완하는 경우가 많고 대체하지 않는다.
• 손으로 설계된 특징과 현대 모델의 의미 표현을 결합하는 것이 관찰된 최고의 성능을 낳는다.
• 사용된 벤치마크 데이터셋은 SciEntsBank, Beetle, Texas2011, ASAP-SAS를 포함하며, 다양한 평가 시나리오를 제공한다.
• 자연어처리 및 딥러닝(특히 트랜스포머)의 진전은 ASAG를 향상시키는 의미론적으로 풍부한 표현을 제공하지만, 다언어 및 교차 도메인 일반화는 여전히 도전적이다.