[논문 리뷰] Towards Scalable Adaptive Learning with Graph Neural Networks and Reinforcement Learning

Jean Vassoyan, Jill-Jênn Vie외 1명|arXiv (Cornell University)|2023. 05. 10.

Online Learning and Analytics인용 수 5

한 줄 요약

이 논문은 전문가가 레이블링한 메타데이터 없이 최소한의 사용자 상호작용에서 학습하는 그래프 신경망(GNN)을 사용하여 스케일링 가능하고 재사용 가능한 강화학습 프레임워크를 제안한다. 실제 교육 자료를 사용한 반-합성 환경에서 무작위 기반 모델보다 뛰어난 성능을 보이며, 낮은 데이터 환경에서도 뛰어난 성능을 발휘하고 도메인 간 전이 학습 가능성을 제공한다.

ABSTRACT

Adaptive learning is an area of educational technology that consists in delivering personalized learning experiences to address the unique needs of each learner. An important subfield of adaptive learning is learning path personalization: it aims at designing systems that recommend sequences of educational activities to maximize students' learning outcomes. Many machine learning approaches have already demonstrated significant results in a variety of contexts related to learning path personalization. However, most of them were designed for very specific settings and are not very reusable. This is accentuated by the fact that they often rely on non-scalable models, which are unable to integrate new elements after being trained on a specific set of educational resources. In this paper, we introduce a flexible and scalable approach towards the problem of learning path personalization, which we formalize as a reinforcement learning problem. Our model is a sequential recommender system based on a graph neural network, which we evaluate on a population of simulated learners. Our results demonstrate that it can learn to make good recommendations in the small-data regime.

연구 동기 및 목표

• 전문가가 레이블링한 메타데이터에 의존하는 기존 학습 경로 개인화 시스템의 재사용성 및 확장성 한계를 해결하기 위해.
• 학습자 피드백과 자원 콘텐츠에 기반해 동적으로 교육 콘텐츠를 추천하는 모델 기반 강화학습 프레임워크를 개발하기 위해.
• 고수준의 코퍼스 독립 지식 표현을 학습하여 다양한 교육 도메인 간 전이 학습을 가능하게 하기 위해.
• 교육 자원 집합 간 일반화 기능을 갖춘 시스템을 구축하여 적응형 학습의 콜드 스타트 문제를 줄이기 위해.

제안 방법

• 학습 경로 개인화를 모델 기반 강화학습 문제로 정식화하고 순차적 추천 시스템을 적용한다.
• 교육 자원과 학습자 상호작용을 통합 지식 표현으로 압축하기 위해 그래프 신경망을 활용한다.
• 위키피디아2베이트(Wikipedia2Vec)의 키워드 임베딩을 사용해 이질적 그래프를 구성하며, 노드는 자원과 학습자를 나타내고, 엣지는 의미적 관계와 상호작용 관계를 표현한다.
• 정책 그래디언트 학습을 위해 REINFORCE 알고리즘을 적용하여 시간에 따른 누적 학습 성과를 최적화한다.
• 현재 상태(예측 지식 수준과 상호작용 이력 포함)를 기반으로 다음 교육 활동을 선택하는 정책을 학습한다.
• 고정된 자원 또는 기술 어휘에 종속되지 않고, 원-핫 인코딩을 피하는 확장 가능한 아키텍처를 도입한다.

실험 결과

연구 질문

• RQ1 전문가가 레이블링한 사전 요구 조건이나 메타데이터 없이도 GNN 기반 강화학습 모델이 효과적인 학습 경로 추천을 학습할 수 있는가?
• RQ2 특히 낮은 데이터 또는 콜드 스타트 상황에서, 모델은 다양한 교육 코퍼스 간에 얼마나 잘 일반화되는가?
• RQ3 모델의 정책은 어느 정도 한 도메인에서 다른 도메인으로 전이될 수 있으며, 이러한 전이를 제한하거나 가능하게 하는 요소는 무엇인가?
• RQ4 반-합성 학습 환경에서 모델의 성능은 무작위 또는 히우리스틱 기반 기준 모델과 비교해 어떻게 되는가?

주요 결과

• 제안된 모델은 모든 6개의 반-합성 환경에서 균일한 무작위 정책보다 뚜렷이 뛰어난 성능을 보이며, 제한된 상호작용에서 효과적인 학습을 수행함을 입증한다.
• 낮은 데이터 환경에서도 뛰어난 성능을 기록하여, 고분산성 REINFORCE 알고리즘을 사용함에도 불구하고 높은 샘플 효율성을 보임을 시사한다.
• 전이 학습 잠재력은 보이지만, 개별 코퍼스의 구조에 과적합되면서 도메인 간 일반화 능력이 제한됨을 확인하였다.
• 그래프 분리 문제(특히 문서 노드가 고립된 경우)가 관찰되어, 희박하거나 완전하지 않은 그래프 구조를 다룰 때의 한계를 드러냈다.
• 모델의 해석 불가능성은 핵심 제한 요소로, 지식 상태 변화 과정에 대한 명확한 통찰 없이 블랙박스처럼 작동함을 시사한다.
• 향후 향상 방안으로 오프-폴리시 알고리즘 또는 모델 기반 RL 도입을 통해 샘플 효율성을 높이고 분산성을 줄일 수 있다.