[논문 리뷰] Siamese Contrastive Embedding Network for Compositional Zero-Shot Learning

Xiangyu Li, Xu Yang외 3명|arXiv (Cornell University)|2022. 06. 29.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 조합적 제로샷 학습(CZSL)을 위한 사위미즈 대비 임베딩 네트워크(SCEN)를 제안한다. SCEN은 별도의 임베딩 공간에서 대비 학습을 통해 상태와 물체에 대해 분리된 특징 프로토타입을 학습하며, 도메인 간 격리 문제를 줄이기 위해 상태 전이 모듈(STM)을 통해 합성 훈련 샘플을 생성한다. SCEN은 최근의 C-GQA 데이터셋을 포함한 세 가지 벤치마크 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

Compositional Zero-Shot Learning (CZSL) aims to recognize unseen compositions formed from seen state and object during training. Since the same state may be various in the visual appearance while entangled with different objects, CZSL is still a challenging task. Some methods recognize state and object with two trained classifiers, ignoring the impact of the interaction between object and state; the other methods try to learn the joint representation of the state-object compositions, leading to the domain gap between seen and unseen composition sets. In this paper, we propose a novel Siamese Contrastive Embedding Network (SCEN) (Code: https://github.com/XDUxyLi/SCEN-master) for unseen composition recognition. Considering the entanglement between state and object, we embed the visual feature into a Siamese Contrastive Space to capture prototypes of them separately, alleviating the interaction between state and object. In addition, we design a State Transition Module (STM) to increase the diversity of training compositions, improving the robustness of the recognition model. Extensive experiments indicate that our method significantly outperforms the state-of-the-art approaches on three challenging benchmark datasets, including the recent proposed C-QGA dataset.

연구 동기 및 목표

• 보면 상태와 물체로 이루어진 새로운 조합을 제로샷 학습 환경에서 인식하는 데 도전하는 것.
• 일반화 성능을 저해하는 상태와 물체 특징 간의 엉키는 문제를 완화하는 것.
• 훈련 데이터 증강을 통해 본래의 조합과 새로운 조합 간의 도메인 격차를 줄이는 것.
• 상태와 물체에 대해 분리된 특징 프로토타입을 학습하여 모델의 강건성과 일반화 능력을 향상시키는 것.
• C-GQA를 포함한 도전적인 CZSL 벤치마크에서 기존 방법들을 능가하는 것.

제안 방법

• 모델은 상태 전용 인코더 $E_s$와 물체 전용 인코더 $E_o$를 사용하여 시각적 특징을 상태 및 물체 전용 대비 공간으로 매핑한다.
• 동일한 상태나 물체의 프로토타입이 가까이 오도록 하며, 관련 없는 것들은 떨어지도록 하기 위해 상태 일정 및 물체 일정 데이터베이스를 양성 샘플로, 공통의 무관한 데이터베이스를 부정 샘플로 사용한다.
• 동일한 상태나 물체의 프로토타입 간의 유사도를 높이고, 관련 없는 프로토타입 간의 유사도를 낮추기 위해 사위미즈 대비 손실($\mathcal{L}_{cts}$)을 적용한다.
• 상태 전이 모듈(STM)은 적대적 손실을 사용하여 가상의 현실적인 조합을 생성함으로써 훈련 데이터의 다양성을 높이고 도메인 격차를 줄인다.
• STM은 훈련 중에 실제로는 보지 못한 상태-물체 조합을 모델이 노출시키므로 일반화 능력을 향상시킨다.
• 최종 모델은 학습된 프로토타입에 선형 소프트맥스 분류기를 적용하여 본 적 있는 조합과 본 적 없는 조합 모두를 예측한다.

실험 결과

연구 질문

• RQ1 상태와 물체에 대해 분리된 프로토타입을 학습하면 조합적 학습에서 제로샷 일반화 성능이 향상되는가?
• RQ2 대비 학습은 엉킨 시각적 특징에서 상태와 물체 표현을 얼마나 효과적으로 분리하는가?
• RQ3 상태 전이 모듈을 통한 합성 데이터 생성이 본 적 있는 조합과 본 적 없는 조합 간의 도메인 격차를 줄이는 데 효과적인가?
• RQ4 대비 학습과 데이터 증강의 조합이 다양한 벤치마크에서 일관된 성능 향상을 이끌어내는가?
• RQ5 모델은 하이퍼파라미터에 얼마나 민감한가? 최적의 설정은 어떤가?

주요 결과

• SCEN은 MIT-States, UT-Zappos, C-GQA 데이터셋에서 최신 기준 성능을 달성하며 기존 방법들을 능가한다.
• 제거 실험 결과, $\mathcal{L}_{cts}$와 $\mathcal{L}_{stm}$ 둘 다 필수적임을 확인하였으며, $\mathcal{L}_{cts}$는 프로토타입 학습을 향상시키고 $\mathcal{L}_{stm}$은 도메인 격차를 줄이는 데 기여한다.
• C-GQA 데이터셋에서 모델은 최고의 조화 평균(HM)과 AUC 점수를 기록하여 복잡한 실제 세계 조합에 대한 강건성을 입증한다.
• 최적의 하이퍼파라미터 설정($\beta = 0.1$는 C-GQA 및 UT-Zappos, $\beta = 0.5$는 MIT-States)은 STM 손실 기여도를 균형 있게 조절하는 데 기여하였다.
• 정성적 결과로, 모델은 상위 3개 예측 내에서 본 적 없는 조합을 정확히 예측함으로써 강력한 일반화 능력을 보였다.
• 라벨이 불완전한 경우에도 나이나 질감과 같은 부분적 속성을 잘 포착하는 등, 더 나은 특징 분리 능력을 보였다.