[논문 리뷰] R-VGAE: Relational-variational Graph Autoencoder for Unsupervised Prerequisite Chain Learning

Irene Li, Alexander R. Fabbri외 2명|arXiv (Cornell University)|2020. 04. 22.

Topic Modeling참고 문헌 31인용 수 5

한 줄 요약

이 논문은 개념 간의 선수 관계를 비지도 학습 방식으로 학습할 수 있도록, 개념과 교육 자료를 이질적 그래프 내의 노드로 모델링하는 관계형-변동형 그래프 오토에인드어(R-VGAE)를 제안한다. 특히 P2V를 활용한 딥 노드 임베딩을 통해 최신 기술 수준의 성능을 달성하였으며, 정확도에서 최대 9.77% 향상되고 F1 점수에서 최대 10.47% 향상되어, 비지도로 선수 체인 학습을 위한 딥 러닝 표현을 활용한 첫 번째 그래프 기반 모델임을 입증한다.

ABSTRACT

The task of concept prerequisite chain learning is to automatically determine the existence of prerequisite relationships among concept pairs. In this paper, we frame learning prerequisite relationships among concepts as an unsupervised task with no access to labeled concept pairs during training. We propose a model called the Relational-Variational Graph AutoEncoder (R-VGAE) to predict concept relations within a graph consisting of concept and resource nodes. Results show that our unsupervised approach outperforms graph-based semi-supervised methods and other baseline methods by up to 9.77% and 10.47% in terms of prerequisite relation prediction accuracy and F1 score. Our method is notably the first graph-based model that attempts to make use of deep learning representations for the task of unsupervised prerequisite learning. We also expand an existing corpus which totals 1,717 English Natural Language Processing (NLP)-related lecture slide files and manual concept pair annotations over 322 topics.

연구 동기 및 목표

• 개념 수가 증가함에 따라 제곱적으로 증가하는 비용이 많이 드는 인간 레이블링된 선수 관계 확보 문제를 해결하기 위해.
• P2V 및 BERT 임베딩과 같은 딥 러닝 표현을 그래프 구조 프레임워크 내에서 활용하여 선수 체인 학습을 향상시키기 위해.
• 학습 중에 레이블된 개념 쌍에 의존하지 않도록 하여 실생활 적용 가능성을 높이는 비지도 방법을 개발하기 위해.
• 1,717장의 슬라이드 파일과 322개의 개념을 포함하며 다섯 분야에 걸쳐 103,362개의 선수 관계가 레이블링된 기존 NLP 강의 자료를 확장하기 위해.
• 재현 가능성과 향후 선수 관계 학습 분야의 연구를 지원하기 위해 공개된 데이터셋과 코드베이스를 구축하기 위해.

제안 방법

• 개념 노드와 자료(강의 슬라이드) 노드로 구성된 이질적 그래프를 구축하고, 공출현 및 의존성 관계를 통해 연결한다.
• 다중 간선 유형을 메시지 전달 메커니즘을 통해 모델링함으로써 노드 표현을 동시에 학습하는 관계형-변동형 그래프 오토에인드어(R-VGAE)를 사용한다.
• 그래프 오토에인드어에 변동형 추론 프레임워크를 적용하여, 지표 개념-개념 관계가 없더라도 엔드 투 엔드 학습이 가능하도록 한다.
• 개념과 자료의 의미적 의미를 포착하기 위해 사전 학습된 딥 임베딩(P2V, BERT, TF-IDF)을 입력 특징으로 통합한다.
• 레이블된 선수 관계 쌍이 필요 없이, 그래프 내 간선을 재구성함으로써 비지도 설정에서 모델을 학습한다.
• 개념-자료 및 자료-자료 연결을 모두 고려하는 전파 규칙을 적용하여 표현 학습을 향상시키고 간접적으로 개념 수준의 선수 관계를 추론한다.

실험 결과

연구 질문

• RQ1 레이블된 학습 쌍이 전혀 없는 그래프 기반 딥 러닝 모델이 개념 간 정확한 선수 관계를 학습할 수 있는가?
• RQ2 다양한 입력 임베딩(P2V, BERT, TF-IDF)이 비지도 선수 관계 예측 성능에 미치는 영향은 어떠한가?
• RQ3 자료 노드를 통합할 경우, 단지 개념 노드만 사용하는 모델에 비해 학습된 선수 체인의 품질은 얼마나 향상되는가?
• RQ4 제안된 R-VGAE 모델은 정확도 및 F1 점수 측면에서 준지도 및 지도 기반 베이스라인과 비교해 어떻게 성능을 내는가?
• RQ5 예를 들어 '의존성 분석'이나 '트리 연합 문법'과 같은 복잡한 개념, 즉 다중 선수 개념에 대해 모델이 일반화 가능한가?

주요 결과

• R-VGAE는 비지도 선수 관계 예측에서 최고의 베이스라인(BERT original) 대비 정확도 9.77% 향상되고 F1 점수 10.47% 향상되어 성능을 확보했다.
• P2V 임베딩을 사용한 모델이 TF-IDF 및 BERT 임베딩을 모두 초월하여, 이 작업에 있어 조밀하고 저차원의 표현이 더 효과적임을 시사한다.
• 골드 그래프 대비 평균 차수(6.10 vs. 9.79)가 낮은 간선을 예측함에도 불구하고 높은 정밀도를 유지하여 '의존성 분석'의 경우 유일한 예외를 제외한 모든 선수 관계를 정확히 복원했다.
• '트리 연합 문법'의 경우, 모두 8개의 골드 선수 개념을 복원하여 다중 선수 개념에 대해 강력한 성능을 보였다.
• 반드시 비지도 학습에만 의존하지 않고 준지도 사전 훈련(SS+P2V)을 통합할 경우 성능이 크게 향상되어, 약한 지도 학습이 비지도 학습을 강화함을 시사한다.
• R-VGAE는 비지도 선수 학습을 위해 딥 러닝 표현을 성공적으로 활용한 첫 번째 그래프 기반 접근법이며, 이 분야의 새로운 기준을 설정했다.