[論文レビュー] Zero-shot and Few-shot Learning with Knowledge Graphs: A Comprehensive Survey

Jiaoyan Chen, Yuxia Geng+6 more|arXiv (Cornell University)|Dec 18, 2021

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

この包括的なサーベイは、ゼロショットおよびフェイワショット学習（ZSL/FSL）のための90以上の知識グラフ（KG）に配慮した手法をレビューし、マッピングベース、データ拡張、伝搬ベース、最適化ベースのパラダイムに体系的に分類している。KGが象徴的で、関係的で、意味的な知識を注入することで、特にクラスの属性、テキスト記述、構造化された関係的 fact を通じて、モデルの一般化性能を著しく向上させることを示している。その結果、画像分類、テキスト分類、知識完成タスクにおいて性能が向上している。

ABSTRACT

Machine learning especially deep neural networks have achieved great success but many of them often rely on a number of labeled samples for supervision. As sufficient labeled training data are not always ready due to e.g., continuously emerging prediction targets and costly sample annotation in real world applications, machine learning with sample shortage is now being widely investigated. Among all these studies, many prefer to utilize auxiliary information including those in the form of Knowledge Graph (KG) to reduce the reliance on labeled samples. In this survey, we have comprehensively reviewed over 90 papers about KG-aware research for two major sample shortage settings -- zero-shot learning (ZSL) where some classes to be predicted have no labeled samples, and few-shot learning (FSL) where some classes to be predicted have only a small number of labeled samples that are available. We first introduce KGs used in ZSL and FSL as well as their construction methods, and then systematically categorize and summarize KG-aware ZSL and FSL methods, dividing them into different paradigms such as the mapping-based, the data augmentation, the propagation-based and the optimization-based. We next present different applications, including not only KG augmented prediction tasks such as image classification, question answering, text classification and knowledge extraction, but also KG completion tasks, and some typical evaluation resources for each task. We eventually discuss some challenges and open problems from different perspectives.

研究の動機と目的

• 多様な分野にまたがる90以上の知識グラフ（KG）に配慮したゼロショットおよびフェイワショット学習（ZSL/FSL）手法の体系的レビューを提供すること。
• 象徴的で、関係的で、意味的な知識を活用することで、ラベル付きデータへの依存を低減し、一般化性能を向上させるKGの役割を分析すること。
• KG拡張型ZSL/FSLで用いられる主なメソッド論的パラダイム（マッピングベース、データ拡張、伝搬ベース、最適化ベース）を同定すること。
• 既存のベンチマークを評価し、評価プロトコル、知識カバレッジ、タスクおよびKG設定間での一般化性の面で課題を明らかにすること。
• 動的で、スキーマ豊富で、複雑な知識環境を想定した、KGに配慮したZSL/FSLにおける未解決の課題と今後の研究方向性を提示すること。

提案手法

• KGに配慮したZSL/FSL手法を4つの主要なパラダイムに分類：マッピングベース（例：特徴空間への射影）、データ拡張（例：KGを用いた合成サンプルの生成）、伝搬ベース（例：KG上のGNN）、最適化ベース（例：KGのガイダンスを受けるメタラーニング）。
• KG構築技術のレビュー。テキスト、テーブル、Webソースからの知識抽出、およびNELL や WordNet などの事前構築済みKGの利用。
• 視覚的・言語的タスクにおける深層学習モデルとのKG統合の分析。視覚的／テキスト的特徴をKGに埋め込まれたクラス表現と一致させることで実現。
• テキスト記述、属性、RDFSスキーマなどの異なるKG意味論がモデル性能に与える影響を、OntoZSL と DeViSE におけるアブレーションスタディを通じて評価。
• タスク（例：画像分類、テキスト分類、KG完成）およびKG設定の両方をカバーする、KGに配慮したZSL/FSL手法のベンチマークフレームワークを提案。
• 知識インジェクションの分類法を提唱：クラスレベルの属性から関係的 fact およびontology スキーマまで。神経ネットワーク埋め込みとの補完的役割を強調。

実験結果

リサーチクエスチョン

• RQ1 マッピング、データ拡張、伝搬、最適化といった異なるKGベースのパラダイムは、どのようにゼロショットおよびフェイワショット学習の性能を向上させるか？
• RQ2 テキスト記述、属性、RDFSスキーマといったKGの意味論のうち、ZSLおよびFSLにおけるモデル一般化を最も効果的に向上させるのはどれか？
• RQ3 KG拡張型手法は、画像分類、テキスト分類、質問応答、知識グラフ完成といった多様なタスクにどのように一般化するか？
• RQ4 現在のKGに配慮したZSL/FSLベンチマークにおける主な制限要因、特に知識カバレッジ、品質、タスク間移行性の面での課題は何か？
• RQ5 メタラーニングおよびGNNベースのモデルと効果的に統合することで、KGはどのようにフェイワショット一般化を向上させるか？

主な発見

• KG拡張型ZSL/FSL手法は、特に豊富なクラス記述と構造化された事実を活用することで、複数のベンチマークで最先端の性能を達成している。
• KG内のテキスト的および属性ベースの知識の活用は、ゼロショット一般化を顕著に向上させており、OntoZSL などの手法は画像分類およびテキスト分類タスクで優れた性能を示している。
• データ拡張および伝搬ベースの手法は、KG上で意味的に意味のあるトレーニングサンプルを生成し、エンティティ間の特徴伝搬を強化することで、フェイワショット学習を向上させている。
• メタラーニングとKGのリトリーブ（例：NELLを介して）を組み合わせることで、タスク固有の関係ネットワークを構築し、フェイワショットテキスト分類の性能が向上しており、動的知識統合の価値を示している。
• 現在のベンチマークは範囲が限定されており、固定されたKGに依存していることが多く、知識品質、カバレッジ、タスク多様性にわたる体系的評価が欠けている。これにより、より包括的かつ標準化された評価フレームワークの構築が急務である。
• 進展は見られるものの、特に医療科学やOWLベースの知識グラフのような動的で、スキーマ豊富な環境では、KGとエンドツーエンドモデルの統合に課題が残っている。