[論文レビュー] Knowledge-aware Zero-Shot Learning: Survey and Perspective

Jiaoyan Chen, Yuxia Geng+4 more|arXiv (Cornell University)|Feb 26, 2021

Domain Adaptation and Few-Shot Learning参考文献 30被引用数 5

ひとこと要約

本論文は、知識に配慮したゼロショット学習（ZSL）の包括的サーベイを提示し、外部知識をテキスト、属性、知識グラフ（KGs）、オントロジー／ルールの4つに分類する。コンピュータビジョン、自然言語処理（NLP）、知識グラフ補完の分野における方法、ベンチマーク、および比較的利点をレビューし、訓練データのない未学習クラスを予測するうえで、記号的知識の役割がますます重要になっていることを強調する。

ABSTRACT

Zero-shot learning (ZSL) which aims at predicting classes that have never appeared during the training using external knowledge (a.k.a. side information) has been widely investigated. In this paper we present a literature review towards ZSL in the perspective of external knowledge, where we categorize the external knowledge, review their methods and compare different external knowledge. With the literature review, we further discuss and outlook the role of symbolic knowledge in addressing ZSL and other machine learning sample shortage issues.

研究の動機と目的

• 訓練データのない未学習クラスを予測するために不可欠な外部知識の観点から、ゼロショット学習（ZSL）を体系的にレビューすること。
• データ構造、表現力、および出典に基づいて、テキスト、属性、知識グラフ（KGs）、オントロジー／ルールの4種類の外部知識を分類・比較すること。
• 近年の重要性が高まっているにもかかわらず、既存のZSLサーベイにおいてKGsやオントロジーが不足しているというギャップを特定すること。
• 記号的知識表現がZSLの一般化をどのように向上させ、より広範な機械学習におけるデータ不足問題を緩和するかを分析すること。
• ZSL設定における異なる知識源の強みと限界を比較することで、今後の研究の基盤を提供すること。

提案手法

• データ構造、表現力、および出典に基づいて、外部知識をテキスト、属性、知識グラフ（KGs）、オントロジー／ルールの4つに分類する。
• ZSLにおける技術的解決策をレビューし、入力空間から意味的符号化空間への写像関数を学習する方法（最近傍分類に適した）を含む。
• クラスの意味的符号化関数 $ h: y \rightarrow z $ を分析し、これは記号的知識（例えば、クラス名、説明、関係など）をモデル入力用のベクトル表現に変換する。
• コンピュータビジョン、NLP、知識グラフ構築および補完の分野におけるZSL手法を、タスク固有のベンチマークと評価プロトコルを用いて比較する。
• 近年のKGsおよびオントロジーのZSLにおける利用状況を評価し、NELL、Wikidata、ルールベースシステムからの事例研究を含む。
• 記号的知識（例：KGs、ルール）とディープラーニングを統合する神経記号的パラダイムを提案し、データが不足する状況での一般化を向上させる。

実験結果

リサーチクエスチョン

• RQ1 テキスト、属性、KGs、オントロジー／ルールといった異なる種類の外部知識は、ゼロショット学習を支援する能力においてどのように比較されるか？
• RQ2 各タイプの外部知識を用いたZSLアプローチにおける主な方法論的差異と性能上のトレードオフは何か？
• RQ3 近年の利用が増加しているにもかかわらず、なぜ知識グラフとオントロジーが従来のZSLサーベイで不足しているのか？
• RQ4 KGsや論理的ルールによる記号的知識表現は、ゼロショットおよびフェイシュット学習における一般化をどのように向上させるか？
• RQ5 データ不足に直面するZSLおよび広範な機械学習における記号的知識統合における未解決の課題と今後の研究方向性は何か？

主な発見

• 知識グラフ（KGs）とオントロジーは、NLPおよび知識グラフ補完タスクにおいて、非常に表現力が高く、効果的な外部知識ソースとして顕著に浮き彫りになった。
• 初期のZSLは画像分類に特化し、属性やテキスト記述に依存していたが、近年では、一般化性能の向上を目的に、Wikidata や NELL などの大規模KGsがますます活用されている。
• 関係性推論を要するタスク（例：知識グラフのリンク予測、関係分類）では、KGベースのZSL手法が属性およびテキストのみの手法を上回っている。
• 注目が高まっているにもかかわらず、NLPおよび情報抽出分野におけるKGおよびオントロジーベースのZSL用に標準化されたベンチマークが依然として不足している。
• 記号的知識（例：オントロジー、ルール）をニューラルモデルと統合する神経記号的パラダイムは、解釈可能性と一般化性能の両方を向上させる有望なアプローチである。
• ZSLは、コンピュータビジョンを越えて、NLPおよび知識グラフタスクへと拡張されつつある。これは、豊富な記号的知識ソースの可用性と、新規クラスの処理の必要性が背景にある。