[논문 리뷰] A causal view of compositional zero-shot recognition

Yuval Atzmon, Felix Kreuk외 2명|arXiv (Cornell University)|2020. 06. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 64인용 수 59

한 줄 요약

본 논문은 구성적 제로샷 인식을 인과적 중재로 프레이밍하고, 속성과 객체의 분리된 표현을 학습하는 인과에서 영감을 받은 임베딩 모델을 제안하여 보이지 않는 구성 일반화를 AO-CLEVr 및 Zappos 데이터셋에서 향상시킨다.

ABSTRACT

People easily recognize new visual categories that are new combinations of known components. This compositional generalization capacity is critical for learning in real-world domains like vision and language because the long tail of new combinations dominates the distribution. Unfortunately, learning systems struggle with compositional generalization because they often build on features that are correlated with class labels even if they are not "essential" for the class. This leads to consistent misclassification of samples from a new distribution, like new combinations of known components. Here we describe an approach for compositional generalization that builds on causal ideas. First, we describe compositional zero-shot learning from a causal perspective, and propose to view zero-shot inference as finding "which intervention caused the image?". Second, we present a causal-inspired embedding model that learns disentangled representations of elementary components of visual objects from correlated (confounded) training data. We evaluate this approach on two datasets for predicting new combinations of attribute-object pairs: A well-controlled synthesized images dataset and a real-world dataset which consists of fine-grained types of shoes. We show improvements compared to strong baselines.

연구 동기 및 목표

• 구성적 일반화를 촉진하고 distribution-shift 와 entanglement 를 제로샷 인식의 핵심 도전 과제로 식별한다.
• 레이블이 이미지의 원인인 인과적 생성 모델을 제안하고, (attribute, object)에 대한 do-intervention이 보이지 않는 조합을 드러낸다.
• 속성 및 객체에 대해 분리되고 인과적으로 안정한 표현을 학습하는 임베딩 기반 아키텍처를 개발한다.
• 핵심 요인의 독립성과 임베딩의 가역성을 강제하는 손실 항을 도입한다.
• AO-CLEVr와 Zappos에서 강력한 기저선 대비 향상된 성능을 보여준다.

제안 방법

• 이미지를 두 가지 기본 요인 Attribute a와 Object o에 의해 생성된 것으로 모델링하며, 잠재 핵심 특징 φa와 φo는 각각 공간 ΦA와 ΦO에 있다.
• do-intervention 프레임워크를 사용하여 pdo(x) = p(x|a,o)로 정의하는 프레임워크를 사용하여 어떤 개입이 이미지를 야기했는지 평가한다.
• 속성/객체를 핵심 특징으로 인코딩하고 이미지 공간으로 다시 매핑하는 ha, ho, 그리고 g 매핑을 학습하여 확률 추정 p(x|a,o)를 가능하게 한다.
• 속성 프로토타입 ha, ho에 대한 거리와 g(ha,ho)를 통한 이미지 재구성 오류를 포함하는 l−L(a,o)로 음의 로그가능도를 근사한다.
• 세 가지 손실을 부과한다: 데이터 우도 손실(재구성 및 트리플릿 항), HSIC를 통한 독립성 손실로 개입 하에서 φa와 φo가 조건부 독립이 되도록 장려, 임베딩 가역성 손실로 임베딩에 레이블 정보를 보존.
• MLP를 사용하여 ha, ho, ga 및 그 역변환 다섯 개의 학습 매핑으로 학습한다.

실험 결과

연구 질문

• RQ1 (attribute, object)에 대한 개입이 가능한 인과적 관점이 강건한 제로샷 구성 인식을 가능하게 할 수 있는가?
• RQ2 분리된 핵심 특징 표현 φa와 φo가 미지의 속성–객체 조합에 대해 안정적인 일반화를 이끌어내는가?
• RQ3 φa와 φo 사이의 독립성 강제가 새로운 조합의 인식에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 실제 및 합성 데이터셋에서 판별적 기저선 및 기존 CZSR 접근법과 어떻게 비교되는가?

주요 결과

• 인과적 접근법은 AO-CLEVr에서 기저선 대비 unseen 정확도를 향상시켰다; 예를 들어 vanilla baseline (LE)의 unseen 정확도는 26%인 반면 인과적 방법은 약 47%에 도달한다.
• 판별적 변형(VisProd&CI)을 추가하면 VisProd에 비해 unseen 정확도가 19%에서 38%로 상승하나, seen 정확도에는 트레이드-오프가 있다.
• AO-CLEVr 교차 검증에서 핵심 특징을 모델링하면 seen 및 unseen 정확도 간의 더 나은 트레이드-오프를 얻고 unseen 비율에서 조화 평균(harmonic mean)을 개선한다.
• 평가는 AO-CLEVr (synthetic) 및 Zappos (실세계 신발)에서 open 및 closed (generalized) zero-shot 설정으로 수행되어 인과 모델의 강건한 성능 향상을 보여준다.
• 이 방법은 HSIC를 통한 정량화된 독립성 제약을 포함하여 φa와 φo가 개입에 강건하도록 장려하고, 이는 해리(disentanglement)와 일반화에 기여한다.