[論文レビュー] Few-shot Visual Reasoning with Meta-Analogical Contrastive Learning

Youngsung Kim, Jinwoo Shin+2 more|arXiv (Cornell University)|Jan 1, 2020

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本論文は、最小限のデータで人間らしい関係的推論を模倣するため、メタ類似対比学習を用いた few-shot 視覚的推論手法を提案する。対比学習を通じて、few-shot 学習とテストサンプル間の構造的関係を整合させることで、RAVEN データセットにおいて、特に低データ環境下で最先端の性能を達成し、メタ学習により未観測の属性へも一般化する。

ABSTRACT

While humans can solve a visual puzzle that requires logical reasoning by observing only few samples, it would require training over large amount of data for state-of-the-art deep reasoning models to obtain similar performance on the same task. In this work, we propose to solve such a few-shot (or low-shot) visual reasoning problem, by resorting to analogical reasoning, which is a unique human ability to identify structural or relational similarity between two sets. Specifically, given training and test sets that contain the same type of visual reasoning problems, we extract the structural relationships between elements in both domains, and enforce them to be as similar as possible with analogical learning. We repeatedly apply this process with slightly modified queries of the same problem under the assumption that it does not affect the relationship between a training and a test sample. This allows to learn the relational similarity between the two samples in an effective manner even with a single pair of samples. We validate our method on RAVEN dataset, on which it outperforms state-of-the-art method, with larger gains when the training data is scarce. We further meta-learn our analogical contrastive learning model over the same tasks with diverse attributes, and show that it generalizes to the same visual reasoning problem with unseen attributes.

研究の動機と目的

• 深層学習モデルが一般化するためには大規模なデータセットを必要とするという、few-shot 視覚的推論の課題に対処すること。
• 人間が関係的類似性を検出できる能力である類似推論を、視覚的推論タスクにおける few-shot 学習のメカニズムとして活用すること。
• 1つのラベル付きペアしか存在しない状況でも、トレーニングサンプルとテストサンプル間の構造的関係を一致させる対比学習フレームワークを開発すること。
• 多様な属性にわたってモデルをメタ学習することで、視覚的推論タスクにおける未観測の属性構成への一般化を向上させること。

提案手法

• 視覚的推論問題のトレーニングおよびテストサンプル内の要素間の構造的関係を抽出する。
• 対比学習の目的関数により、これらの関係の類似性を強制し、類似する関係的構造間の距離を最小化する。
• 関係的不変性の学習を安定化・精緻化するために、わずかに変更されたクエリを用いた同じ問題をモデルに適用する。
• 多様な属性にわたるメタ学習戦略を採用し、未観測の属性コンビネーションへの一般化を可能にする。
• 微小なクエリの変更は、トレーニングサンプルとテストサンプル間の根本的な関係的構造を変えることがないものと仮定する。

実験結果

リサーチクエスチョン

• RQ1 類似推論は、few-shot 視覚的推論性能の向上に有効に活用できるか？
• RQ2 構造的関係の対比学習は、視覚的推論タスクにおける異なる属性構成に一般化可能か？
• RQ3 提案手法は、トレーニングデータが限られる状況でも、既存の最先端モデルを上回る性能を示すか？
• RQ4 多様な属性にわたるメタ学習は、未観測の属性タイプへのゼロショット一般化を向上させるか？

主な発見

• 提案手法は、特に低データ環境下で RAVEN ベンチマークにおいて最先端の性能を達成した。
• トレーニングデータが限られる状況で、より顕著な性能向上が観察され、優れた few-shot 一般化能力を示した。
• メタ学習を経た後、未観測の属性を有する視覚的推論問題に対しても、効果的に一般化できた。
• 構造的関係の対比的整合化は、1つのトレーニング例しか存在しない状況でも、関係的推論の性能を顕著に向上させた。