[논문 리뷰] Creating A Neural Pedagogical Agent by Jointly Learning to Review and Assess

Youngnam Lee, Youngduck Choi외 7명|arXiv (Cornell University)|2019. 06. 26.

Topic Modeling참고 문헌 29인용 수 15

한 줄 요약

이 논문은 559,000명의 사용자를 보유한 모바일 영어 학습 플랫폼에서 임베딩된 질문-응답 쌍에 대한 어텐션을 갖춘 양방향 LSTM을 사용하여 실시간으로 사용자 응답을 평가하고 검토하는 데 동시에 학습하는 신경 pedagogical 에이전트를 제안한다. 이 모델은 기존 최고 수준의 방법들보다 응답 정확도 예측 성능이 뛰어나며, 특히 신규 사용자에 대해서도 뛰어난 성능를 보이며, 학습된 어텐션 메커니즘을 통해 해석 가능한 태그 기반 문제 추천을 가능하게 한다.

ABSTRACT

Machine learning plays an increasing role in intelligent tutoring systems as both the amount of data available and specialization among students grow. Nowadays, these systems are frequently deployed on mobile applications. Users on such mobile education platforms are dynamic, frequently being added, accessing the application with varying levels of focus, and changing while using the service. The education material itself, on the other hand, is often static and is an exhaustible resource whose use in tasks such as problem recommendation must be optimized. The ability to update user models with respect to educational material in real-time is thus essential; however, existing approaches require time-consuming re-training of user features whenever new data is added. In this paper, we introduce a neural pedagogical agent for real-time user modeling in the task of predicting user response correctness, a central task for mobile education applications. Our model, inspired by work in natural language processing on sequence modeling and machine translation, updates user features in real-time via bidirectional recurrent neural networks with an attention mechanism over embedded question-response pairs. We experiment on the mobile education application SantaTOEIC, which has 559k users, 66M response data points as well as a set of 10k study problems each expert-annotated with topic tags and gathered since 2016. Our model outperforms existing approaches over several metrics in predicting user response correctness, notably out-performing other methods on new users without large question-response histories. Additionally, our attention mechanism and annotated tag set allow us to create an interpretable education platform, with a smart review system that addresses the aforementioned issue of varied user attention and problem exhaustion.

연구 동기 및 목표

• 사용자 행동이 동적으로 변화하고 데이터가 다량인 모바일 교육 플랫폼에서 실시간 사용자 모델링의 과제를 해결하기 위해.
• 새로운 데이터가 도착할 때마다 재학습이 필요한 비용이 큰 협업 필터링 및 행렬 분해 기법의 한계를 극복하기 위해.
• 고정된 아이템 특징과 동적으로 업데이트되는 사용자 표현을 활용하여 사용자 지식 상태를 효율적으로 모델링하는 시스템을 개발하기 위해.
• 주제 태그와 어텐션 메커니즘을 활용하여 의미적 유사도 기반으로 설명 가능한 개인화된 문제 추천을 가능하게 하기 위해.

제안 방법

• 모델은 사용자 응답과 질문의 시퀀스를 캡처하기 위해 양방향 순환 신경망(Bi-LSTM)을 사용하여 학습 행동의 시간적 의존성을 모델링한다.
• 미래의 정확도를 예측할 때 이전 문제의 관련성을 동적으로 평가하기 위해 임베딩된 질문-응답 쌍에 대한 어텐션 메커니즘을 적용한다.
• 각 응답 이후 실시간으로 사용자 특징을 업데이트하여 데이터 수신 시 전체 모델 재학습이 필요 없도록 한다.
• 6600만 건의 응답 기록과 10,000개의 주제 태그가 부여된 문제를 포함한 대규모 모바일 교육 데이터셋(SantaTOEIC)에서 엔드 투 엔드로 모델을 학습한다.
• 전문가가 태그한 주제 태그를 기반으로 어텐션 메커니즘이 유도되어 의미 유사도 기반으로 설명 가능한 추천을 가능하게 한다.
• 표준 평가 지표(F1-score, AUC, 정확도)를 사용하여 모델을 평가하며, Bi-LSTM 및 어텐션 변형에 대한 분석 실험을 실시한다.

실험 결과

연구 질문

• RQ1 신경 모델이 재학습 없이 실시간으로 사용자 응답을 평가하고 검토하는 것을 동시에 학습할 수 있는가, 이로 인해 정확도가 향상되는가?
• RQ2 어떤 방식으로 어텐션 메커니즘이 주제 태그 유사도와의 일치를 통해 문제 추천의 해석 가능성을 향상시키는가?
• RQ3 기존 방법들과 비교해 볼 때, 응답 이력이 제한된 사용자에게서도 모델이 뛰어난 성능를 유지하는가?
• RQ4 양방향 LSTM과 어텐션 메커니즘이 동적인 사용자 모델링에서 예측 성능에 기여하는 정도는 어떠한가?
• RQ5 다양한 어텐션 메커니즘(내적곱 vs. 덧셈형)이 모델 성능과 안정성에 미치는 영향은 어떠한가?

주요 결과

• 제안된 모델은 MF, MLP, NeuMF, RRN, AutoRec, DeepRec를 포함한 모든 베이스라인을 초월하여 F1-score 0.8114를 기록한다.
• 기타 모델들이 최소 64개의 응답이 필요로 하는 반면, 이 모델은 단 44개의 응답 이후에도 F1-score 0.7을 달성한다.
• 어텐션 메커니즘이 주제 태그 일치 비율과 강한 상관관계를 보이며, 상위 50개의 추천 문제에서 태그 일치 비율이 65~76%에 이른다.
• 분석 실험을 통해 Bi-LSTM가 파라미터 수가 유사한 일반적인 LSTM 및 완전 연결층보다 우수한 성능를 보임을 확인한다.
• 어텐션 메커니즘이 성능 향상에 기여하며, 내적곱형과 덧셈형 어텐션 모두 유사한 결과(F1: 0.8113~0.8114)를 기록한다.
• 응답 이력이 극히 적은 신규 사용자에 대해서도 모델이 뛰어난 강건성을 보이며, 실시간으로 확장 가능한 모바일 교육 플랫폼에 적합함을 입증한다.