[논문 리뷰] Self-supervised Graph Learning for Long-tailed Cognitive Diagnosis

Shanshan Wang, Zhen Zeng외 2명|arXiv (Cornell University)|2022. 10. 15.

Online Learning and Analytics인용 수 8

한 줄 요약

이 논문은 자기지도 학습 기반 인지 진단(Self-supervised Cognitive Diagnosis, SCD)을 제안하며, 학생-연습 상호작용 그래프의 중요도 기반 희소 뷰를 생성함으로써 장꼬리 분포를 보이는 학생들의 성능을 향상시키는 그래프 학습 프레임워크이다. 동일한 노드에 대한 다양한 뷰 간 표현 일致성을 최대화함으로써, SCD는 낮은 데이터를 가진 학생들에 더 집중하게 되어 희소 데이터에서 뚜렷한 성능 향상을 이룬다. 이와 동시에 밀도 높은 데이터에 대해서도 우수한 성능 유지를 한다.

ABSTRACT

Cognitive diagnosis is a fundamental yet critical research task in the field of intelligent education, which aims to discover the proficiency level of different students on specific knowledge concepts. Despite the effectiveness of existing efforts, previous methods always considered the mastery level on the whole students, so they still suffer from the Long Tail Effect. A large number of students who have sparse data are performed poorly in the model. To relieve the situation, we proposed a Self-supervised Cognitive Diagnosis (SCD) framework which leverages the self-supervised manner to assist the graph-based cognitive diagnosis, then the performance on those students with sparse data can be improved. Specifically, we came up with a graph confusion method that drops edges under some special rules to generate different sparse views of the graph. By maximizing the consistency of the representation on the same node under different views, the model could be more focused on long-tailed students. Additionally, we proposed an importance-based view generation rule to improve the influence of long-tailed students. Extensive experiments on real-world datasets show the effectiveness of our approach, especially on the students with sparse data.

연구 동기 및 목표

• 학습 데이터 기록이 적은 학생들이 모델 최적화 과정에서 부족하게 반영되는 장꼬리 문제를 해결하기 위해.
• 잘 표현된 학생들에 대한 성능을 훼손하지 않으면서 장꼬리 분포를 보이는 학생들의 성능을 향상시키기 위해.
• 저데이터 학생들을 위한 표현 학습을 향상시키기 위해 구조적 뷰 생성을 통한 자기지도 그래프 학습 프레임워크를 개발하기 위해.
• 장꼬리 분포를 보이는 노드의 영향력을 높이기 위해 중요도 기반 엣지 드롭아웃 전략을 설계하기 위해.

제안 방법

• 역사적 응답 데이터로부터 학생-연습 상호작용 그래프를 구성하며, 엣지는 상호작용을 나타낸다.
• 노드의 차수를 기반으로 엣지 중요도를 할당하여, 장꼬리 학생과 연결된 엣지에 더 높은 우선순위를 부여한다.
• 중요도 기반 유지 확률에 따라 엣지를 제거하여 다수의 희소 뷰를 생성한다.
• 동일한 노드에 대한 서로 다른 희소 뷰 간 표현 일치성을 최대화하기 위해 그래프 대비 학습을 적용한다.
• 주 인지 진단 모델을 자기지도 대비 손실과 함께 동시에 학습시켜 일반화 성능을 향상시킨다.
• 장꼬리 노드를 강조하는 뷰 생성 규칙을 사용하여, 학습 과정에서 이들이 간과되지 않도록 보장한다.

실험 결과

연구 질문

• RQ1 자기지도 그래프 학습이 장꼬리 분포를 보이는 학생들의 인지 진단 성능을 향상시키는가?
• RQ2 중요도 기반 엣지 드롭아웃 전략이 그래프 표현 학습에서 장꼬리 학생들의 영향력을 높이는가?
• RQ3 희소 데이터 성능 측면에서 SCD는 무작위 뷰 생성 전략과 비교해 어떤가?
• RQ4 제안된 방법은 높은 데이터를 가진 학생들에 대한 성능을 떨어뜨리지 않고 저데이터 학생들의 진단 정확도를 향상시킬 수 있는가?

주요 결과

• SCD는 상호작용 기록이 희소한 학생들, 특히 0–5 및 5–10 상호작용 그룹에서 뚜렷한 성능 향상을 이룬다.
• SCD는 SCD-random(무작위 엣지 드롭아웃)보다 모든 지표에서 승리하며, 특히 ACC_{50}와 RMSE_{50}에서 더 큰 우위를 보여 중요도 기반 전략의 효과성을 입증한다.
• 고상호작용 그룹(예: 30–35, 35–)에서는 SCD가 RCD와 유사하거나 더 우수한 성능을 보이며, 밀도 높은 데이터에 대한 성능 저하가 없음을 시사한다.
• 진단 사례 연구에서 SCD는 장꼬리 학생인 학생#2가 개념 C와 D/E를 숙지하지 못했다고 정확히 진단했으나, RCD는 개념 C에 대해 마스터리 상태로 잘못 예측하였다.
• 모델의 자기지도 대비 학습은 중요도 인식 뷰 생성을 통해 구조적 정보를 유지함으로써 저데이터 학생들의 표현 학습을 효과적으로 향상시킨다.