[논문 리뷰] Neural Multi-task Learning in Automated Assessment

Ronan Cummins, Marek Rei|arXiv (Cornell University)|2018. 01. 21.

Topic Modeling참고 문헌 11인용 수 14

한 줄 요약

이 논문은 영어를 모국어로 하지 않는 학습자(ESL)의 글쓰기에서 문법 오류 탐지(GED)와 자동 에세이 채점(AES)을 동시에 학습하는 신경 다중 작업 학습 모델을 제안한다. 이중 순환 신경망을 통해 표현을 공유하고 두 작업을 동시에 최적화함으로써, AES 성능은 크게 향상되며, QWK 0.459를 달성하지만, GED 성능에는 거의 영향을 주지 않아, 에세이 품질이 오류 탐지에 의해 강하게 영향을 받는다는 것을 보여준다.

ABSTRACT

Grammatical error detection and automated essay scoring are two tasks in the area of automated assessment. Traditionally these tasks have been treated independently with different machine learning models and features used for each task. In this paper, we develop a multi-task neural network model that jointly optimises for both tasks, and in particular we show that neural automated essay scoring can be significantly improved. We show that while the essay score provides little evidence to inform grammatical error detection, the essay score is highly influenced by error detection.

연구 동기 및 목표

• 문법 오류 탐지(GED)와 자동 에세이 채점(AES)을 함께 학습함으로써 자동 글쓰기 평가 성능 향상 여부를 조사하는 것.
• 특히 에세이 품질 신호가 오류 탐지에 영향을 주는지 또는 그 반대의 상황이 발생하는지 여부를 평가하는 것.
• GED, AES, 언어 모델링 목표를 하나의 종단 간 프레임워크로 통합하는 신경 다중 작업 모델을 개발하고 평가하는 것.
• GED를 학습 신호로 포함함으로써 ESL 글쓰기에서 AES 성능 향상 여부를 평가하는 것, 특히 공개된 FCE 데이터셋에서의 성능을 중심으로 한다.

제안 방법

• 전체 에세이를 순차적 입력으로 처리하기 위해 이중 방향 순환 신경망을 사용하며, 양방향에서의 은닉 상태를 시간 단계에 걸쳐 평균화하여 맥락 벡터를 형성한다.
• 맥락 벡터는 두 개의 별도 출력 헤드에 입력되며, 하나는 이진 시퀀스 레이블링(GED)을 위한 것이고, 다른 하나는 시그모이드 스케일링 출력층을 통해 종합적인 에세이 점수를 예측하기 위한 것이다.
• 모델는 병합된 손실 함수로 훈련된다: E = (1 - γ_aes)(E_ged + 0.1×E_lm) + γ_aes×E_aes, 여기서 γ_aes는 GED와 AES 목표 간의 균형을 조절한다.
• 시퀀스 표현 학습을 향상시키기 위해 언어 모델링을 보조적인 반감독 목적으로 포함한다.
• 하이퍼파rameter γ_aes는 개발 세트에서 0.0에서 1.0까지 0.1 간격으로 조정되어 최적의 작업 간 무게 조정을 찾는다.
• 모델 성능은 GED에 대해 F₀.₅와 AES에 대해 2차 가중 카파(QWK)로 평가되며, 강력한 기준 신경 AES 모델(NEA)과의 비교가 이루어진다.

실험 결과

연구 질문

• RQ1 문법 오류 탐지와 자동 에세이 채점을 함께 학습함으로써 어느 한 작업의 성능 향상 여부는 어떠한가?
• RQ2 에세이 점수가 문법 오류 탐지에 얼마나 유용한 지도를 제공하는가?
• RQ3 오류 탐지 신호를 포함함으로써 자동 에세이 채점 성능에 어떤 영향을 미치는가?
• RQ4 FCE 데이터셋에서 ESL 글쓰기의 AES에 대해 다중 작업 신경망 모델이 단일 작업 기준 모델을 초월할 수 있는가?

주요 결과

• GED 목표를 추가함으로써 AES 성능이 크게 향상되었으며, 언어 모델링만을 사용할 경우 QWK 0.347에서 GED를 포함한 경우 QWK 0.459로 상승하여 통계적으로 유의미한 향상가 나타났다.
• AES 성능을 고려할 때 최적의 γ_aes 하이퍼파rameter는 0.1이며, 이는 AES 손실이 GED 손실보다 우선시될 때 모델가 가장 큰 이점을 얻는다는 것을 의미한다.
• GED의 경우 γ_aes 값에 관계없이 성능이 거의 변화하지 않으며, AES 목표를 추가했을 때 F₀.₅가 0.036 뿐만 증가하여, 에세이 수준의 채점 신호가 오류 탐지에 큰 도움이 되지 않는다는 것을 시사한다.
• 제안된 다중 작업 모델은 FCE 테스트 세트에서 QWK 0.459를 달성하여, 300D 임bedding을 사용한 NEA 기준 모델(0.373)을 상당한 격차로 앞서며 성능을 뛰어넘었다.
• 모델는 GED, 언어 모델링, AES를 하나의 종단 간 프레임워크로 통합하여 효과적으로 다중 작업 학습의 잠재력을 입증하였다.