[논문 리뷰] Joint Multi-Domain Learning for Automatic Short Answer Grading

Swarnadeep Saha, Tejas I. Dhamecha외 4명|arXiv (Cornell University)|2019. 02. 25.

Topic Modeling참고 문헌 34인용 수 6

한 줄 요약

이 논문은 대규모 외부 어휘 자료에 의존하지 않고도 일반적인 언어적 특성과 도메인 특화된 유사성 패턴을 동시에 학습할 수 있는 자동 단답항목 채점을 위한 공동 다중도메인 딥러닝 아키텍처인 JMD-ASAG을 제안한다. 제한된 작업 특화 데이터에서 도메인 특화 및 일반적인 분류기를 동시에 훈련시킴으로써, 이 모델은 벤치마크 및 산업용 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 도메인 특화 및 전이 학습 기반 모델을 모두 능가한다.

ABSTRACT

One of the fundamental challenges towards building any intelligent tutoring system is its ability to automatically grade short student answers. A typical automatic short answer grading system (ASAG) grades student answers across multiple domains (or subjects). Grading student answers requires building a supervised machine learning model that evaluates the similarity of the student answer with the reference answer(s). We observe that unlike typical textual similarity or entailment tasks, the notion of similarity is not universal here. On one hand, para-phrasal constructs of the language can indicate similarity independent of the domain. On the other hand, two words, or phrases, that are not strict synonyms of each other, might mean the same in certain domains. Building on this observation, we propose JMD-ASAG, the first joint multidomain deep learning architecture for automatic short answer grading that performs domain adaptation by learning generic and domain-specific aspects from the limited domain-wise training data. JMD-ASAG not only learns the domain-specific characteristics but also overcomes the dependence on a large corpus by learning the generic characteristics from the task-specific data itself. On a large-scale industry dataset and a benchmarking dataset, we show that our model performs significantly better than existing techniques which either learn domain-specific models or adapt a generic similarity scoring model from a large corpus. Further, on the benchmarking dataset, we report state-of-the-art results against all existing non-neural and neural models.

연구 동기 및 목표

• 지능형 튜터링 시스템에서 여러 도메인에 걸쳐 자동 단답항목 채점(ASAG) 문제를 해결하기 위해.
• 기존 ASAG 모델이 대규모 외부 어휘 자료에 의존하거나 도메인 간 일반화에 실패하는 한계를 극복하기 위해.
• 제한된 작업 특화 데이터에서 도메인 특화 및 일반적인 언어적 특성들을 동시에 학습할 수 있는 통합된 딥러닝 아키텍처를 개발하기 위해.
• 사전 훈련된 일반적인 언어 모델에 의존하는 것을 제거하기 위해, 작업 데이터에서 직접 보편적인 언어적 특징을 학습하기 위해.

제안 방법

• JMD-ASAG는 k개의 도메인에 대해 k개의 도메인 특화 인코더와 공유되는 일반적인 인코더를 가진 이중 브랜치 신경망 아키텍처를 사용한다.
• 모델은 도메인 특화 및 일반적인 표현을 사용하여 학생의 답변과 기준 답변 간의 유사도 점수를 계산하기 위해 시아미즈 유사도 아키텍처를 활용한다.
• 배치 단위로 도메인을 번갈아가며 최적화를 수행하는 공동 최적화 목표를 사용하여 치명적인 잊힘(catastrophic forgetting)을 방지한다.
• 시퀀스 인코딩을 위해 사전 훈련된 GloVe 임베딩(300D)을 사용하며, 작업에 맞게 미세조정(fine-tuned)하고, 양방향 LSTM(100단위)을 사용한다.
• 모델은 매 배치마다 도메인을 순환시키는 훈련 프로토콜을 제안하여 균형 잡힌 학습을 보장하고 이전에 본 도메인의 성능 저하를 방지한다.
• 모델은 고정 학습률 0.001로 15 에포크 동안 categorical cross-entropy 손실과 Adam 옵timizer를 사용하여 훈련된다.

실험 결과

연구 질문

• RQ1 대규모 사전 훈련된 어휘 자료에 의존하지 않고도 공동 다중도메인 학습 프레임워크가 도메인 특화 모델이나 일반적인 모델보다 자동 단답항목 채점에서 더 나은 성능을 낼 수 있는가?
• RQ2 신경망 모델이 제한된 작업 특화 데이터에서 보편적인 언어적 특성과 도메인 특화된 의미 패턴을 효과적으로 학습할 수 있는가?
• RQ3 공동 훈련 중에 여러 도메인 간 성능 유지를 최적화하기 위해 어떤 훈련 전략이 가장 효과적인가? 특히 치명적인 잊힘을 방지하기 위해.
• RQ4 종단 간으로 일반적이고 도메인 특화된 구성 요소를 동시에 학습하는 것이 전이 학습에서 일반 도메인을 기반으로 한 학습보다 더 나은 일반화 성능을 낼 수 있는가?
• RQ5 제안된 아키텍처가 벤치마크 및 실제 산업용 ASAG 데이터셋에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 벤치마크 데이터셋에서 JMD-ASAG는 모든 기존의 비신경망 및 신경망 모델을 능가하는 최신 기술 수준의 성능을 달성한다.
• 대규모 산업용 데이터셋에서 JMD-ASAG는 도메인 특화 및 전이 학습 기반 모델을 모두 크게 능가한다.
• 배치 단위 도메인 섞기 훈련 프로토콜이 가장 높은 매크로-F1(0.6703)과 전체 정확도(0.7281)를 기록하며, 에포크 단위 및 도메인 단위 훈련보다 우수한 성능을 보였다.
• 도메인 단위 훈련 프로토콜은 도메인 간 점진적인 성능 저하를 초래하며, 그 이유는 치명적인 잊힘 때문임을 그림 4에서 확인할 수 있다.
• 실제 현장 시범 운영에서 1,000명 이상의 학생을 대상으로 다섯 도메인에 걸쳐 안정적이고 일반화 가능한 성능을 유지하였다.
• 제거 분석(ablation study)을 통해 일반적이고 도메인 특화된 특징을 함께 학습하는 것이 별도로 학습하거나 전이 학습을 통해 학습하는 것보다 더 효과적임을 확인하였다.