[논문 리뷰] Learning Conditional Attributes for Compositional Zero-Shot Learning

Qingsheng Wang, Lingqiao Liu외 5명|arXiv (Cornell University)|2023. 05. 29.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 구성적 제로샷 학습을 위한 조건부 속성 네트워크(CANet)를 제안하며, 인식된 객체와 입력 이미지에 조건화된 속성 임베딩을 학습하여 다양한 객체 간 속성의 다양성을 다룹니다. 속성 하이퍼 러닝러와 베이스 러닝러를 도입함으로써, 민첩하고 맥락 인식형 속성 표현을 생성하며, C-GQA를 포함한 CZSL 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성합니다.

ABSTRACT

Compositional Zero-Shot Learning (CZSL) aims to train models to recognize novel compositional concepts based on learned concepts such as attribute-object combinations. One of the challenges is to model attributes interacted with different objects, e.g., the attribute ``wet" in ``wet apple" and ``wet cat" is different. As a solution, we provide analysis and argue that attributes are conditioned on the recognized object and input image and explore learning conditional attribute embeddings by a proposed attribute learning framework containing an attribute hyper learner and an attribute base learner. By encoding conditional attributes, our model enables to generate flexible attribute embeddings for generalization from seen to unseen compositions. Experiments on CZSL benchmarks, including the more challenging C-GQA dataset, demonstrate better performances compared with other state-of-the-art approaches and validate the importance of learning conditional attributes. Code is available at https://github.com/wqshmzh/CANet-CZSL

연구 동기 및 목표

• 구성적 제로샷 학습에서 속성의 다양성 문제를 해결하기 위해, 동일한 속성(예: '습한')이 다른 객체(예: '습한 사과' 대비 '습한 고양이')와 조합될 때 다르게 나타나는 현상을 다룹니다.
• 인식된 객체와 입력 이미지 특징에 기반해 속성과 객체 간 맥락성을 모델링하기 위해, 속성 표현을 둘 다에 조건화합니다.
• 정적이고 객체에 종속되지 않은 표현 대신, 동적이고 맥락에 따라 달라지는 속성 임베딩을 학습하여, 알려지지 않은 속성-객체 조합에 대한 일반화 능력을 향상시킵니다.
• 표준 CZSL 벤치마크(예: C-GQA 포함)에서 광범위한 실험과 분해 분석을 통해 조건부 속성 학습의 효과성을 검증합니다.

제안 방법

• 입력 이미지, 객체 임베딩, 시각적 특징에 조건화된 구성요소로 분해된 속성 및 객체 인식의 공동 확률을 정의함으로써, 조건부 속성 학습의 필요성을 정당화합니다.
• 인식된 객체와 입력 이미지의 시각적 임베딩에서 사전 지식을 기반으로 하이퍼넷워크를 통해 속성 베이스 러닝러의 파라미터를 생성하는 속성 하이퍼 러닝러를 도입합니다.
• 하이퍼넷워크의 출력을 사용해, 고정된 속성 단어 임베딩을 현재 객체와 이미지 맥락에 맞게 조정된 조건부 속성 임베딩으로 변환하는 속성 베이스 러닝러를 구현합니다.
• 입력 이미지 임베딩과 모든 조건부 속성 임베딩 간 코사인 유사도를 사용해 분류 로짓을 계산합니다.
• 속성과 객체 단어 임베딩을 병합하고, 이미지 특징의 투영된 표현과 코사인 유사도를 비교하여 조합을 예측함으로써 맥락 인식 분류 성능을 향상시킵니다.
• 속성, 객체, 조합 분류 헤드를 결합한 가중치 손실 함수를 사용하며, 하이퍼파라미터 α가 각 구성요소의 기여도를 조정합니다.

Figure 1 : The diagram of our work. We aim to learn conditional attributes conditioned on the recognized object and input image through an attribute learning framework containing an attribute hyper learner and an attribute base learner. We first recognize the object in the input image. Then, we feed

실험 결과

연구 질문

• RQ1 인식된 객체와 입력 이미지 양쪽에 조건화된 속성을 모델링할 경우, 구성적 제로샷 학습에서 일반화 능력이 향상되는가?
• RQ2 기존의 정적 속성 임베딩 방법과 비교해 조건부 속성 학습 프레임워크는 제로샷 일반화 성능에서 어떤 차이를 보이는가?
• RQ3 이미지 시각적 특징을 속성 하이퍼넷워크에 통합할 경우 모델의 일반화 능력과 강건성에 어떤 영향을 미치는가?
• RQ4 제안된 프레임워크의 다양한 구성요소(예: 하이퍼넷워크, 베이스 러닝러, 병합 임베딩)는 본문과 알려지지 않은 조합에서 성능에 어떤 기여를 하는가?
• RQ5 손실 함수의 가중치 요소 α를 통해 속성, 객체, 조합 분류 간 최적의 트레이드오프는 무엇인가?

주요 결과

• CANet는 C-GQA 벤치마크에서 최신 기술 수준 성능을 달성하며, 이전 방법들에 비해 알려지지 않은 속성-객체 조합에 대한 일반화 능력이 뛰어나다는 것을 입증합니다.
• 분해 분석 결과, 속성 하이퍼 러닝러나 이미지 시각적 임베딩을 조건화에서 제거할 경우 성능이 크게 떨어지며, 맥락 인식 속성 학습의 중요성을 확인합니다.
• UT-Zappos50K에서는 손실 함수의 최적 가중치 요소 α가 0.5, MIT-States에서는 0.1, C-GQA에서는 0.3로 확인되어, 속성과 객체 간 맥락성을 모델링하는 것이 별도의 분류보다 더 유익함을 시사합니다.
• 조건부 속성 임베딩을 사용할 경우, 알려지지 않은 조합에 대한 일반화 능력이 향상되며, 각 데이터셋의 최적 α 값으로 설정했을 때 가장 높은 미리보지 않은 정확도를 기록합니다.
• 변형(3)~(6)의 분해 분석을 통해, G, H, P, 및 x를 포함한 전체 프레임워크가 최적 성능을 내기 위해 필수적임을 확인하였으며, 특히 복잡하고 긴 꼬리형 속성 분포를 다룰 때 유의미한 성능 향상을 보입니다.

Figure 2 : Structure of our proposed CANet. The symbol $\bigoplus$ is channel-wise concatenation. The mapping networks $\mathcal{\omega}_{o}$ , $\mathcal{\omega}_{a}$ , and $\mathcal{\omega}_{c}$ map the input image embedding $\boldsymbol{\mathrm{x}}$ into object, attribute, and composition spaces $