[論文レビュー] Visual Concept-Metaconcept Learning

Chi Han, Jiayuan Mao+3 more|arXiv (Cornell University)|Feb 4, 2020

Machine Learning in Bioinformatics被引用数 21

ひとこと要約

この論文では、画像と質問-回答ペアから視覚的概念（例：赤、立方体）とメタ概念（例：「同じ性質を説明する」）を同時に学ぶ神経記号的モデル、Visual Concept-Metaconcept Learner（VCML）を提案する。メタ概念を用いて視覚的曖昧性を解消し、視覚的根拠を用いて未観測の概念ペア間の関係を推論することで、双方向の知識を活用し、低リソース環境下でも強力な一般化性能を達成し、ベースラインを上回る性能を示している。

ABSTRACT

Humans reason with concepts and metaconcepts: we recognize red and green from visual input; we also understand that they describe the same property of objects (i.e., the color). In this paper, we propose the visual concept-metaconcept learner (VCML) for joint learning of concepts and metaconcepts from images and associated question-answer pairs. The key is to exploit the bidirectional connection between visual concepts and metaconcepts. Visual representations provide grounding cues for predicting relations between unseen pairs of concepts. Knowing that red and green describe the same property of objects, we generalize to the fact that cube and sphere also describe the same property of objects, since they both categorize the shape of objects. Meanwhile, knowledge about metaconcepts empowers visual concept learning from limited, noisy, and even biased data. From just a few examples of purple cubes we can understand a new color purple, which resembles the hue of the cubes instead of the shape of them. Evaluation on both synthetic and real-world datasets validates our claims.

研究の動機と目的

• 限られた、ノイズが多い、あるいはバイアスがかかるデータから視覚的概念を学ぶ挑戦に、概念間の抽象的関係を説明するメタ概念を組み込むことにより対処すること。
• 視覚的根拠を用いて未観測の概念ペア間の関係を推論する手がかりとすることで、メタ概念の一般化を向上させること。
• 言語インターフェースを備えた統一された神経記号的フレームワークを通じて、視覚的概念学習とメタ概念学習を統合すること。
• 概念とメタ概念の共同学習が、視覚的言語推論におけるデータ効率性と一般化性能を向上させることを実証すること。

提案手法

• VCMLは視覚的認識モジュールを用いて、オブジェクトベースの画像表現を抽出する。
• 意味的パーサーは自然言語の質問を推論用の記号的プログラムに翻訳する。
• 神経記号的プログラム実行モジュールは、視覚的特徴を用いて記号的プログラムを評価し、質問に答えを得る。
• 概念埋め込みとメタ概念演算子は、ペaired画像とQAデータを用いて、潜在的ベクトル空間上で共同で学習される。
• モデルは2種類の質問で訓練される：視覚的根拠（例：「赤い立方体はありますか？」）とメタ概念関係（例：「赤と緑は同じ性質を説明しますか？」）。
• 双方向の知識フローにより、メタ概念が視覚的曖昧性を解消できる（例：「赤」が色か形状かを区別する）一方で、視覚的概念が未観測のメタ概念関係を予測できる（例：形状に基づいて「立方体」と「球体」が同じ性質をもつと推論する）ようになる。

実験結果

リサーチクエスチョン

• RQ1 訓練データが限られたりノイズが多い状況下で、メタ概念が視覚的曖昧性の解消に役立つかどうか。
• RQ2 概念の視覚的根拠が、未観測の概念ペア間の新しいメタ概念関係への一般化を可能にするか。
• RQ3 概念とメタ概念の共同学習が、視覚的言語推論におけるデータ効率性をどのように向上させるか。
• RQ4 視覚的および言語的監視のみを用いて、未観測の概念ペアに対するメタ概念関係（例：同義語、上位概念）をモデルがどれほど正確に予測できるか。
• RQ5 メタ概念を組み込むことで、低リソースの視覚的推論タスクでより優れた性能が得られるか。

主な発見

• CLEVRにおいて、同義語メタ概念一般化タスクでVCMLは100.0%の正確度を達成し、すべてのベースラインを上回った。
• 同じ種類（same_kind）メタ概念において、VCMLは99.3%の正確度を達成し、次に優れたモデル（92.3%）を著しく上回った。
• 視覚的根拠の質問がたった1,000件の低リソース環境下でも、VCMLはメタ概念知識を活用することで、参照表現の正確度（Recall@1）を向上させた。
• GQAデータセットでは、VCMLは同義語メタ概念で91.1%の正確度を達成し、BERT（バリアントII）の83.1%を上回り、優れた一般化性能を示した。
• CUBデータセットでは、VCMLは上位概念（hypernym）タスクで94.8%、部分集合（meronym）タスクで92.5%の正確度を達成し、ほとんどの場合でNS-CLベースラインを上回った。
• メタ概念知識を有するモデルとないモデルの性能差は、訓練データ量が増えるにつれて縮小するため、メタ概念は特にデータが少ない状況で最も有益であることが示された。