[論文レビュー] KG-SP: Knowledge Guided Simple Primitives for Open World Compositional Zero-Shot Learning

Shyamgopal Karthik, Massimiliano Mancini+1 more|arXiv (Cornell University)|May 13, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

KG-SPは、外部の知識（ConceptNet）を用いて不適切な組み合わせをフィルタリングすることで、独立して物体と状態ラベルを予測する知識誘導型アプローチを提案する。この手法は、開集合の構成的ゼロショット学習（OW-CZSL）と、学習時に部分的监督が利用可能な新しいpCZSL設定の両方で最先端の性能を達成する。

ABSTRACT

The goal of open-world compositional zero-shot learning (OW-CZSL) is to recognize compositions of state and objects in images, given only a subset of them during training and no prior on the unseen compositions. In this setting, models operate on a huge output space, containing all possible state-object compositions. While previous works tackle the problem by learning embeddings for the compositions jointly, here we revisit a simple CZSL baseline and predict the primitives, i.e. states and objects, independently. To ensure that the model develops primitive-specific features, we equip the state and object classifiers with separate, non-linear feature extractors. Moreover, we estimate the feasibility of each composition through external knowledge, using this prior to remove unfeasible compositions from the output space. Finally, we propose a new setting, i.e. CZSL under partial supervision (pCZSL), where either only objects or state labels are available during training, and we can use our prior to estimate the missing labels. Our model, Knowledge-Guided Simple Primitives (KG-SP), achieves state of the art in both OW-CZSL and pCZSL, surpassing most recent competitors even when coupled with semi-supervised learning techniques. Code available at: https://github.com/ExplainableML/KG-SP.

研究の動機と目的

• 未知の状態-物体の組み合わせを事前にその組み合わせ空間を知らずに認識できるような、開集合の構成的ゼロショット学習（OW-CZSL）の課題に対処すること。
• 外部知識を用いた妥当性フィルタリングにより、出力空間を縮小することで、OW-CZSLにおける一般化性能を向上させること。
• 学習時に物体または状態のラベルのいずれかしか利用できないという新しい設定、部分的監督下でのCZSL（pCZSL）を導入し、評価すること。
• 独立したプリミティブの予測と知識誘導型フィルタリングの組み合わせが、OW-CZSLおよびpCZSLの両設定で、共同の構成的モデリングを上回ることを示すこと。
• ConceptNetからの知識ベースの妥当性スコアが、弱い監督下の設定におけるゼロショット一般化と疑似ラベル生成の質を向上させることを検証すること。

提案手法

• KG-SPは、物体認識と状態認識のための別々の非線形特徴抽出器を用い、共有表現を介さないタスク固有の特徴学習を可能にする。
• 推論時に物体と状態のラベルを独立して予測することで、全組み合わせの探索空間を個々のプリミティブに削減し、問題を単純化する。
• 推論時に、ConceptNetを用いて各状態-物体の組み合わせの妥当性を推定し、スコアが低い不適切なペアを出力空間からフィルタリングする。
• pCZSL設定では、学習時に物体または状態のラベルのいずれかしか利用できないため、妥当性スコアを用いて欠落しているモダリティの疑似ラベルを生成する。
• 推論および学習の両段階で知識誘導型フィルタリングを適用することで、ゼロショット一般化におけるロバスト性と正確性を向上させる。
• このフレームワークは半教師あり学習と互換性があり、実験により、最近のベースラインでさえも、この手法と組み合わせた場合に上回ることを示している。

実験結果

リサーチクエスチョン

• RQ1 物体と状態のプリミティブを独立して予測し、知識ベースの妥当性フィルタリングを組み合わせることで、開集合CZSLにおいて、共同の構成的モデリングを上回ることができるか？
• RQ2 外部知識（ConceptNet）は、不適切な状態-物体の組み合わせをフィルタリングすることで、ゼロショット認識性能をどの程度向上させられるか？
• RQ3 提案手法は、学習時に部分的監督（物体または状態のラベル）しか利用できないという新しいpCZSL設定に一般化可能か？
• RQ4 知識誘導型フィルタリングは、弱い監督下の学習における疑似ラベルの質を向上させ、pCZSLにおける性能向上に寄与するか？
• RQ5 構成的複雑性の高い設定において、KG-SPは最先端の手法と比較して、ゼロショット一般化性能でどの程度優れているか？

主な発見

• KG-SPはOW-CZSLベンチマークで最先端の性能を達成し、半教師あり学習技術を用いた最近の手法ですらこれを上回っている。
• ConceptNetに基づく妥当性スコアを用いて不適切な組み合わせをフィルタリングすることで、効果的な出力空間を縮小し、ゼロショット認識の正確性が著しく向上した。
• pCZSL設定では、欠落したモダリティの予測に知識誘導型疑似ラベル生成が有効であることが示され、最近の手法を上回った。
• 物体と状態のための別々の特徴抽出器を用いることで、タスクに必要な異なる視覚的手がかりを捉える能力が向上し、共有表現よりも優れた特徴学習が達成された。
• 定性的な分析から、ConceptNetの妥当性スコアは現実世界の妥当性とよく一致しており、一般的な組み合わせ（例：明るいチューリップ、カラメル化した砂糖）を正しく識別し、不適切な組み合わせ（例：蒸気の出るブレスレット）を除外している。
• 強力な性能を発揮しているものの、OW-CZSLベンチマークにおける絶対的正確度は依然として低い（例：C-GQAでは未学習精度が2.9％）ことから、このタスクの本質的な難易度が浮き彫りになった。