[論文レビュー] R-VGAE: Relational-variational Graph Autoencoder for Unsupervised Prerequisite Chain Learning

Irene Li, Alexander R. Fabbri+2 more|arXiv (Cornell University)|Apr 22, 2020

Topic Modeling参考文献 31被引用数 5

ひとこと要約

本稿では、概念と教育リソースを異種グラフ内のノードとしてモデル化することで、教師なしで前提関係を学習する関係的・変動的グラフオートエンコーダー（R-VGAE）を提案する。P2Vを含む深層ノード埋め込みを用いることで、SOTAの性能を達成し、半教師ありベースラインを最大で9.77%の精度向上および10.47%のF1スコア向上で上回り、教師なしの前提連鎖学習に深層学習表現を活用する最初のグラフベースのモデルである。

ABSTRACT

The task of concept prerequisite chain learning is to automatically determine the existence of prerequisite relationships among concept pairs. In this paper, we frame learning prerequisite relationships among concepts as an unsupervised task with no access to labeled concept pairs during training. We propose a model called the Relational-Variational Graph AutoEncoder (R-VGAE) to predict concept relations within a graph consisting of concept and resource nodes. Results show that our unsupervised approach outperforms graph-based semi-supervised methods and other baseline methods by up to 9.77% and 10.47% in terms of prerequisite relation prediction accuracy and F1 score. Our method is notably the first graph-based model that attempts to make use of deep learning representations for the task of unsupervised prerequisite learning. We also expand an existing corpus which totals 1,717 English Natural Language Processing (NLP)-related lecture slide files and manual concept pair annotations over 322 topics.

研究の動機と目的

• 概念数の増加に伴い2乗的に増加する高コストな人手による前提関係のアノテーションを回避する課題に対処すること。
• P2VやBERT埋め込みといった深層学習表現をグラフ構造のフレームワーク内に統合することで、前提連鎖学習を向上させること。
• トレーニング中にラベル付き概念ペairに依存しない教師なし手法を開発し、実世界への適用可能性を高めること。
• 1,717枚のスライドファイルと322の概念を含み、5つの分野にまたがる103,362件の前提関係がアノテートされた、既存のNLP講義コーパスを拡張すること。
• 再現可能性と今後の研究を支援するため、公開可能なデータセットとコードベースを構築すること。

提案手法

• 概念ノードとリソース（講義スライド）ノードを含む異種グラフを構築し、共起関係および依存関係を通じて接続する。
• 関係的・変動的グラフオートエンコーダー（R-VGAE）を用い、メッセージパッシング機構を通じて複数のエッジタイプをモデル化することで、ノード表現を同時に学習する。
• グラフオートエンコーダーに変動的推論フレームワークを適用し、真の概念同士の関係がなくてもエンドツーエンドのトレーニングが可能になる。
• 事前学習済みの深層埋め込み（P2V、BERT、TF-IDF）を入力特徴として統合し、概念とリソースの意味的意味を捉える。
• トレーニング中にラベル付き前提ペアが不要な教師なし設定で、グラフ内のエッジを再構築することでモデルを学習する。
• 概念-リソースおよびリソース-リソースの接続を考慮するプロパゲーションルールを用い、表現学習を強化し、間接的に概念レベルの前提関係を推論する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きトレーニングペアが一切ない状態でも、グラフベースの深層学習モデルが正確な概念間の前提関係を学習できるか？
• RQ2 異なる入力埋め込み（P2V、BERT、TF-IDF）は、教師なしの前提関係予測性能にどのように影響するか？
• RQ3 リソースノードを組み込むことで、概念ノードのみを用いたモデルと比較して、学習された前提連鎖の質はどの程度向上するか？
• RQ4 R-VGAEモデルは、半教師ありおよび教師ありベースラインと比較して、精度およびF1スコアの観点でどの程度優れているか？
• RQ5 「従属構文解析」や「木適合文法」のような複数の前提を持つ複雑な概念に対しても、モデルは一般化可能か？

主な発見

• R-VGAEは、最も優れたベースライン（BERTオリジナル）を上回り、教師なしの前提関係予測において9.77%の精度向上および10.47%のF1スコア向上を達成した。
• P2V埋め込みを用いたモデルが、TF-IDFおよびBERT埋め込みを上回り、このタスクにおいては密度が高く次元が低い表現がより効果的であることが示された。
• ゴールグラフの平均次数（9.79）と比較してエッジ数が少ない（平均次数6.10）にもかかわらず、R-VGAEは高い精度を維持し、「従属構文解析」の前提関係のうち1つを除きすべて正しく回復した。
• 「木適合文法」の場合は、全8つのゴール前提概念を回復し、複数の前提を持つ複雑な概念に対しても優れた性能を示した。
• 半教師あり事前学習（SS+P2V）を組み合わせることで、モデルの性能が顕著に向上した。これは弱い教師信号が教師なし学習を強化することを示している。
• R-VGAEは、教師なしの前提学習に深層学習表現を効果的に活用する最初のグラフベースのアプローチであり、分野における新たなベンチマークを確立した。