[論文レビュー] Improving Zero Shot Learning Baselines with Commonsense Knowledge

Abhinaba Roy, Deepanway Ghosal+4 more|arXiv (Cornell University)|Dec 11, 2020

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本稿では、ゼロショット学習（ZSL）のベースラインを向上させるために、ConceptNetを介して共通知識を統合し、グラフ畳み込み自己オートエンコーダを用いて改善された意味的埋め込みを生成することを提案する。これらの共通知識埋め込みを人間が定義した属性（HA）および分散語彙埋め込み（DWE）と統合することで、3つのベンチマークデータセットで顕著な精度向上を達成した。これは、明示的な関係的知識が標準的な意味的埋め込みを上回るゼロショット一般化を促進することを示している。

ABSTRACT

Zero shot learning -- the problem of training and testing on a completely disjoint set of classes -- relies greatly on its ability to transfer knowledge from train classes to test classes. Traditionally semantic embeddings consisting of human defined attributes (HA) or distributed word embeddings (DWE) are used to facilitate this transfer by improving the association between visual and semantic embeddings. In this paper, we take advantage of explicit relations between nodes defined in ConceptNet, a commonsense knowledge graph, to generate commonsense embeddings of the class labels by using a graph convolution network-based autoencoder. Our experiments performed on three standard benchmark datasets surpass the strong baselines when we fuse our commonsense embeddings with existing semantic embeddings i.e. HA and DWE.

研究の動機と目的

• 訓練データなしで未学習のクラスを分類できるモデルが、外部知識を活用して意味的埋め込みの質を向上させることで、ゼロショット学習の課題に取り組む。
• 単に語彙的または階層的関係ではなく、共通知識が、学習済みクラスと未学習クラスの間の転移性を向上させられるかどうかを検証する。
• ConceptNetから意味的で関係的な埋め込みを学ぶためのグラフベースの手法を開発し、より良い視覚的・意味的関連付けを支援する。
• 標準的な学習パイプラインに共通知識に配慮した表現を統合することで、強力な既存のZSLベースラインを上回る。

提案手法

• 全ConceptNet知識グラフ上で訓練された、グラフ畳み込みネットワーク（GCN）に基づく自己オートエンコーダを用い、共通知識埋め込み（CSE）を生成する。
• モデルはConceptNet内のノード間の関係的パスをメッセージパッシングを活用して符号化し、語の共起を超えた非自明な意味的関係を捉える。
• 共通知識埋め込みを、2種類の標準的な意味的埋め込み（人間が定義した属性（HA）および分散語彙埋め込み（DWE）、例：word2vec）と統合する。
• 統合された埋め込みは、標準的なZSLフレームワークで使用され、視覚的特徴が関連関数を介して意味的埋め込みと照合され、最も類似したクラスが予測される。
• 埋め込み学習中に各クラスの関連する関係的文脈を捉えるために、すべての学習済みおよび未学習クラスからサブグラフを構築する。
• 学習済みクラスと未学習クラスが非交差する分割で評価され、主にトップ1精度を指標として用いる。

Figure 1: Animal in the middle is relatively unknown. However, we know the ones on the left and the right.

実験結果

リサーチクエスチョン

• RQ1 ConceptNetのような知識グラフからの共通知識は、従来の意味的埋め込みを上回るゼロショット学習性能を向上させることができるか？
• RQ2 ConceptNetからの関係的知識の統合は、WordNetのような語彙的知識グラフと比較してZSLにおいてどのように異なるか？
• RQ3 ConceptNet上で訓練されたグラフオートエンコーダは、標準的な語彙埋め込みと比較して、未学習クラスに対してより判別力があり、転送可能な埋め込みを生成するか？
• RQ4 学習済みクラスと未学習クラスの間の明示的な関係的パスは、ゼロショット分類における視覚的・意味的関連付けをどの程度向上させるか？
• RQ5 本手法は、ドメイン分布が異なる多様なデータセットに対して頑健であるか？

主な発見

• 共通知識埋め込み（CSE）を人間が定義した属性（HA）および分散語彙埋め込み（DWE）と統合することで、3つのベンチマークデータセットすべてで一貫的かつ顕著な精度向上が達成された。
• Wangら（2018）を含む強力な既存のベースラインを著しく上回り、提案されたグラフオートエンコーダアプローチの優位性を示した。
• ConceptNetをWordNetに置き換えると性能が著しく低下し、『RelatedTo』や『CapableOf』といった共通知識関係が、『Hypernym』のような語彙的関係よりもZSLにおいて効果的であることが確認された。
• ドメイン特化型のデータセット（例：動物のみ）では、より多様なデータセット（例：aP&Y）よりも高い精度を達成した。これは、ドメインの一貫性が高いほど転送性が向上することを示している。
• 定性的な分析では、『Jetski』と『Motorbike』のように視覚的・意味的に類似したクラスでも、word2vecの類似度は0.45と低く、共通知識関係が強く、モデルがこれを効果的に活用していることが示された。
• 共通知識埋め込みにより、標準的な埋め込みが見逃す間接的・関係的知識を捉えることで、視覚的特徴と未学習クラスラベルとの関連付けが向上した。

Figure 2: An example of commonsense relations between Aeroplane and Motorbike in ConceptNet.