[논문 리뷰] ZeroC: A Neuro-Symbolic Model for Zero-shot Concept Recognition and Acquisition at Inference Time

Tailin Wu, Megan Tjandrasuwita외 5명|arXiv (Cornell University)|2022. 06. 30.

Machine Learning and Data Classification인용 수 5

한 줄 요약

ZeroC는 추론 시각적 개념의 제로샷 인식과 획득을 가능하게 하는 신경기호 프레임워크로, 개념과 관계를 기호적 그래프 구조 위의 에너지 기반 모델(EBM)로 모델링한다. 기호적 그래프와 EBM 간 일대일 매핑을 통해 학습된 기본 요소들로 새로운 개념을 구성함으로써, 재학습 없이도 정확한 검출 및 분류가 가능하며, 도메인 간에도 적용 가능하다.

ABSTRACT

Humans have the remarkable ability to recognize and acquire novel visual concepts in a zero-shot manner. Given a high-level, symbolic description of a novel concept in terms of previously learned visual concepts and their relations, humans can recognize novel concepts without seeing any examples. Moreover, they can acquire new concepts by parsing and communicating symbolic structures using learned visual concepts and relations. Endowing these capabilities in machines is pivotal in improving their generalization capability at inference time. In this work, we introduce Zero-shot Concept Recognition and Acquisition (ZeroC), a neuro-symbolic architecture that can recognize and acquire novel concepts in a zero-shot way. ZeroC represents concepts as graphs of constituent concept models (as nodes) and their relations (as edges). To allow inference time composition, we employ energy-based models (EBMs) to model concepts and relations. We design ZeroC architecture so that it allows a one-to-one mapping between a symbolic graph structure of a concept and its corresponding EBM, which for the first time, allows acquiring new concepts, communicating its graph structure, and applying it to classification and detection tasks (even across domains) at inference time. We introduce algorithms for learning and inference with ZeroC. We evaluate ZeroC on a challenging grid-world dataset which is designed to probe zero-shot concept recognition and acquisition, and demonstrate its capability.

연구 동기 및 목표

• 학습 예제 없이 구성 개념과 그 관계의 기호적 기술만을 사용하여 기계가 새로운 시각적 개념을 인식할 수 있도록 한다.
• 기호적 그래프 구조를 통해 추론 시에 새로운 개념을 획득하고 소통할 수 있는 능력을 모델에 부여한다.
• 통합된 신경기호 아키텍처를 통해 인식(개념 존재 추론)과 획득(새로운 개념 모델 구축)에서 제로샷 일반화를 달성한다.
• 학습된 EBM 구성 요소와 기호적 관계 구조를 활용하여 구성된 개념의 도메인 간 전이를 지원한다.
• 아키텍처 재튜닝 없이 다양한 데이터셋과 개념 계층에서 작동하는 확장 가능하고 일반적인 프레임워크를 설계한다.

제안 방법

• 시각적 개념과 관계를 에너지 기반 모델(EBM)로 표현하며, 입력으로는 이미지, 마스크(들), 그리고 개념/관계 레이블 문자열을 사용한다.
• 기호적 그래프 구조(노드 = 개념, 간선 = 관계)와 해당 EBM 구성 요소 사이의 일대일 매핑을 사용하여 추론 시 구성 가능성을 보장한다.
• 종단 간 추론을 위해 확률적 경사 랭그비안 동역학(SGLD)을 적용하여 마스크 예측 및 개념 검출을 위한 에너지 최소화를 수행한다.
• EBM을 (이미지, 마스크, 레이블) 튜플을 포함하는 데이터셋에서 학습하며, 레이블은 개념 또는 관계를 기술하며 내재된 변동성(예: 다양한 각도에서의 '예각')을 포함한다.
• 이미지를 구성 개념 마스크와 관계 그래프로 분석하고, 기존의 EBM 구성 요소를 사용하여 계층적 개념에 대한 새로운 EBM을 구성함으로써 개념 획득을 가능하게 한다.
• 동일한 EBM 프레임워크를 사용하여 분류(레이블 예측)와 검출(마스크 예측) 작업을 모두 수행하며, 추론은 SGLD 샘플링을 통해 수행된다.

실험 결과

연구 질문

• RQ1 학습된 새로운 개념에 대해 어떤 훈련도 없이 구성 개념과 그 관계의 기호적 기술만을 사용하여 모델이 추론 시 새로운 시각적 개념을 인식할 수 있는가?
• RQ2 이미지를 분석하고 검출된 기본 요소들로부터 기호적 그래프 구조를 구성함으로써 모델이 추론 시 새로운 계층적 개념을 획득하고 표현할 수 있는가?
• RQ3 동일한 EBM 기반 아키텍처가 아키텍처 재튜닝 없이 다양한 데이터셋과 개념 계층에서 일반화 가능한가?
• RQ4 예를 들어 그리드월드에서 3D 합성 환경으로의 도메인 간 전이에서 모델이 구성된 개념을 얼마나 잘 검출하고 분류하는가?
• RQ5 이미지 크기와 객체 수가 증가함에 따라 추론 파이프라인의 계산 효율성은 어떠한가?

주요 결과

• ZeroC는 학습된 EBM 구성 요소와 기호적 그래프 구조만을 사용하여 그리드월드 환경에서 계층적 개념(예: 'F', '직사각형')의 정확한 제로샷 검출 및 분류를 달성한다.
• 3D 이미지 환경(32x32x3)에서도 모델은 합리적인 정확도로 구성된 개념을 성공적으로 검출하고 분류하며, 기준 모델보다 뚜렷이 뛰어난 성능을 보인다.
• 고정된 SGLD 스텝 수(K=60)와 배치 관계 분류를 사용함으로써 추론 시간이 이미지 크기와 객체 수에 거의 영향을 받지 않으며, 효율적인 성능 유지가 가능하다.
• 동일한 모델 아키텍처와 하이퍼파라미터를 사용하여 HD-Letter, HD-Concept, CLEVR 등 다양한 데이터셋에서 일반화가 가능하다.
• 관계의 내재된 변동성(예: 다양한 각도에서의 '예각')에 대해 강건한 성능을 보이며, 하나의 EBM에서 다양한 예시로부터 이러한 기본 요소를 학습한다.
• 모델은 도메인 간 개념 획득이 가능하다: 한 도메인(예: 그리드월드)에서 학습된 개념은 재학습 없이 다른 도메인(예: 3D 합성 이미지)에서도 동일하게 검출할 수 있다.