[논문 리뷰] Few-shot Visual Reasoning with Meta-Analogical Contrastive Learning

Youngsung Kim, Jinwoo Shin외 2명|arXiv (Cornell University)|2020. 01. 01.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

이 논문은 소수의 샘플로도 인간과 유사한 관계적 추론를 모방하기 위해 메타유사 대비 학습을 사용하는 소수 샘플 시각적 추론 방법을 제안한다. 대비 학습을 통해 소수의 훈련 및 테스트 샘플 간의 구조적 관계를 정렬함으로써, 모델은 RAVEN 데이터셋에서 최신 기술 수준의 성능을 달성하며, 특히 낮은 데이터 환경에서 뛰어난 성능을 보이며 메타학습을 통해 예측되지 않은 속성으로의 일반화도 가능하다.

ABSTRACT

While humans can solve a visual puzzle that requires logical reasoning by observing only few samples, it would require training over large amount of data for state-of-the-art deep reasoning models to obtain similar performance on the same task. In this work, we propose to solve such a few-shot (or low-shot) visual reasoning problem, by resorting to analogical reasoning, which is a unique human ability to identify structural or relational similarity between two sets. Specifically, given training and test sets that contain the same type of visual reasoning problems, we extract the structural relationships between elements in both domains, and enforce them to be as similar as possible with analogical learning. We repeatedly apply this process with slightly modified queries of the same problem under the assumption that it does not affect the relationship between a training and a test sample. This allows to learn the relational similarity between the two samples in an effective manner even with a single pair of samples. We validate our method on RAVEN dataset, on which it outperforms state-of-the-art method, with larger gains when the training data is scarce. We further meta-learn our analogical contrastive learning model over the same tasks with diverse attributes, and show that it generalizes to the same visual reasoning problem with unseen attributes.

연구 동기 및 목표

• 딥 러닝 모델이 일반화하기 위해 대규모 데이터셋을 필요로 하는 소수 샘플 시각적 추론의 과제를 해결하기 위해.
• 사람들이 관계적 유사성을 감지할 수 있는 능력인 유사 추론을 소수 샘플 학습의 메커니즘으로 활용하여 시각적 추론 작업에서의 성능 향상에 기여하기 위해.
• 훈련 샘플과 테스트 샘플 간의 구조적 관계를 정렬하는 대비 학습 프레임워크를 개발하여, 단 한 개의 레이블링된 쌍으로도 가능하도록 하기 위해.
• 다양한 속성에 걸쳐 모델을 메타학습하여, 시각적 추론 작업에서 예측되지 않은 속성 조합으로의 일반화 능력을 향상시키기 위해.

제안 방법

• 모델은 시각적 추론 문제의 훈련 및 테스트 샘플 내 요소 간의 구조적 관계를 추출한다.
• 유사한 관계적 구조 간의 유사성을 보장하기 위해 대비 학습 목적함수를 적용하여, 유사한 관계적 패턴 간의 거리를 최소화한다.
• 관계 불변성의 학습을 안정화하고 정교화하기 위해, 약간 수정된 쿼리를 동일한 문제에 적용한다.
• 다양한 속성에 걸쳐 모델을 훈련하기 위해 메타학습 전략을 활용하여, 예측되지 않은 속성 조합으로의 일반화를 가능하게 한다.
• 작은 쿼리 변화가 훈련 및 테스트 샘플 간의 기본 관계적 구조를 변화시키지 않는다는 가정을 한다.

실험 결과

연구 질문

• RQ1 유사 추론이 소수 샘플 시각적 추론 성능 향상에 효과적으로 활용될 수 있는가?
• RQ2 구조적 관계의 대비 학습이 시각적 추론 작업에서 다양한 속성 구성으로 일반화될 수 있는가?
• RQ3 제안된 방법이 기존 최신 기술 수준의 모델보다 뛰어나게 성능을 발휘하는가, 특히 훈련 데이터가 부족한 경우에?
• RQ4 다양한 속성에 걸친 메타학습이 예측되지 않은 속성 유형으로의 제로샷 일반화를 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 RAVEN 벤치마크에서 최신 기술 수준의 성능을 달성하며, 특히 낮은 데이터 환경에서 뛰어난 성능을 보인다.
• 훈련 데이터가 부족할수록 더 큰 성능 향상이 관찰되어 강력한 소수 샘플 일반화 능력을 입증한다.
• 메타학습 이후 예측되지 않은 속성을 가진 시각적 추론 문제로의 일반화가 효과적으로 이루어진다.
• 구조적 관계의 대비 정렬이 단 한 개의 훈련 예시로도 관계적 추론 능력을 크게 향상시킨다.