[논문 리뷰] Learning Graph Embeddings for Open World Compositional Zero-Shot Learning

Massimiliano Mancini, Muhammad Ferjad Naeem외 2명|arXiv (Cornell University)|2021. 05. 03.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 가용성 인식(edge weights)을 갖춘 가중치가 부여된 그래프를 사용하여 시각적 원소(물체와 상태)와 그 조합 간의 종속성을 모델링하는 그래프 신경망 접근법인 조합 코사인 그래프 임베딩(Compositional Cosine Graph Embeddings, Co-CGE)을 제안한다. 학습된 가용성 점수를 코사인 유사도 손실의 마진과 인접 행렬의 가중치로 통합함으로써, Co-CGE는 표준 및 오픈월드 조합적 제로샷 학습에서 최고 성능을 달성하며, 훨씬 확장된 조합 공간을 가진 더 현실적인 오픈월드 설정에서 이전 방법들을 크게 능가한다.

ABSTRACT

Compositional Zero-Shot learning (CZSL) aims to recognize unseen compositions of state and object visual primitives seen during training. A problem with standard CZSL is the assumption of knowing which unseen compositions will be available at test time. In this work, we overcome this assumption operating on the open world setting, where no limit is imposed on the compositional space at test time, and the search space contains a large number of unseen compositions. To address this problem, we propose a new approach, Compositional Cosine Graph Embeddings (Co-CGE), based on two principles. First, Co-CGE models the dependency between states, objects and their compositions through a graph convolutional neural network. The graph propagates information from seen to unseen concepts, improving their representations. Second, since not all unseen compositions are equally feasible, and less feasible ones may damage the learned representations, Co-CGE estimates a feasibility score for each unseen composition, using the scores as margins in a cosine similarity-based loss and as weights in the adjacency matrix of the graphs. Experiments show that our approach achieves state-of-the-art performances in standard CZSL while outperforming previous methods in the open world scenario.

연구 동기 및 목표

• 시험 시점에 알려진 조합만 존재하는 닫힘 세계를 전제로 하는 표준 조합적 제로샷 학습(CZSL)의 한계를 해결하기 위해, 모든 가능한 조합이 출력 공간에 존재하는 더 현실적인 오픈월드 설정을 제안한다.
• 물체, 상태, 그리고 그 조합 간의 종속성을 구조화된 그래프 신경망을 통해 모델링하여, 새로운 조합에 대한 일반화 능력을 향상시킨다.
• 불가능하거나 혼동 요소가 되는 조합(예: '익은 개')의 부정적 영향을 줄이기 위해 그 가용성을 추정하고, 이를 표현 학습을 이끄는 데 사용한다.
• 가용성 마진을 갖춘 코사인 기반 손실을 통해 시각적 및 의미적 임베딩 공간을 통합함으로써, 더 나은 정렬과 분류 능력을 확보한다.
• 제안된 방법이 닫힘 세계 가정을 초월해 효과적으로 일반화됨을 입증하며, 거의 28,000개의 조합으로 확장된 검색 공간에서도 강력한 성능을 달성한다.

제안 방법

• Co-CGE는 물체, 상태, 그들의 조합을 나타내는 노드를 연결하는 그래프 컨volution 네트워크(GCN)를 사용하여, 관련 개념 간 메시지 전달을 통해 표현 학습을 향상시킨다.
• 각 미리 보지 않은 조합의 가용성 점수는 구성 원소의 시각적 및 의미적 임베딩 간 코사인 유사도를 기반으로 계산되며, 조합의 의미적 및 시각적 타당성을 반영한다.
• 이 가용성 점수는 코사인 기반 교차 엔트로피 손실의 마진으로 사용되어, 불가능한 조합이 올바른 것들로부터 임베딩 공간에서 더 멀리 떨어지도록 유도한다.
• 동일한 가용성 점수는 그래프의 인접 행렬의 가중치로 사용되어, 메시지 전달 과정에서 불가능하거나 노이즈가 많은 조합의 영향을 줄인다.
• 모델은 시각적 특징을 조합 임베딩과 정렬시키는 대비 학습 목표를 사용하며, 그래프 구조를 활용해 전역 일관성을 확보한다.
• 이 방법은 닫힘 세계 및 오픈월드 추론을 모두 지원하며, 오픈월드 변형은 시험 시점에 어떤 조합이 나타날지 사전 지식이 없다는 가정을 한다.

실험 결과

연구 질문

• RQ1 모든 가능한 물체-상태 조합에 대해 일반화할 수 있는 그래프 기반 모델이, 시험 시점에 전체 조합 공간을 알 수 없는 상황에서도 효과적으로 조합 임베딩을 학습할 수 있는가?
• RQ2 시각적 및 의미적 임베딩에서 유도된 가용성 점수는 어떻게 조합적 제로샷 학습 모델의 타당성에 영향을 주는 비합리적 또는 비타당한 조합에 대한 강건성을 향상시키는 데 기여하는가?
• RQ3 가용성 점수를 손실 마진과 그래프 가중치로 동시에 사용할 경우, 이를 별도로 사용하는 것보다 더 나은 일반화 성능을 낼 수 있는가?
• RQ4 제안된 Co-CGE 모델은 닫힘 세계 및 오픈월드 조합적 제로샷 학습 벤치마크에서 기존 최고 성능 모델과 비교해 어떻게 성능을 내는가?
• RQ5 학습된 조합 임베딩이 본 적 없는 조합을 포함해 본 적 있는 조합과의 이미지 검색에서 얼마나 신뢰할 수 있는가?

주요 결과

• Co-CGE는 표준 조합적 제로샷 학습 벤치마크에서 최고 성능을 달성하여, 이전 방법들인 CGE와 CompCos를 능가하며, C-GQA에서 0.78 AUC, MIT-States에서 2.3 정확도를 기록했다.
• 오픈월드 설정에서는 이전 방법들보다 크게 뛰어나며, 다양한 데이터셋에서 미리 보지 않은 조합의 조합 평균 정확도가 11.9%에 달해, 다음으로 좋은 방법(11.8%)을 능가했다.
• 코사인 기반 분류를 사용한 모델(Co-CGE)이 비-코사인 대응 모델(Co-CGE_ff)보다 일관되게 뛰어난 성능을 보이며, 코사인 유사도를 통한 메트릭 학습이 일반화 능력을 향상시킨다는 것을 보여준다.
• Co-CGE는 본 적 있는 조합과 본 적 없는 조합의 정확도 사이에 강한 트레이드오프를 보이며, MIT-States에서 본 것 정확도 16.0%, 본 적 없는 것 정확도 11.9%를 기록했고, 조합 평균 정확도는 12.4%였다.
• 검색 연구 결과에 따르면, CZSL 정확도가 높다고 해서 항상 더 나은 조합 임베딩을 제공하는 것은 아니며, Co-CGE와 Co-CGE_CW가 본 것과 본 적 없는 조합의 검색 성능 간 최적의 균형을 달성했다.
• 가용성 점수 기반 메커니즘이 비타당하지 않은 조합의 영향을 효과적으로 줄였으며, 손실 마진과 그래프 가중치 모두에서 사용했을 때 성능 향상이 뚜렷하게 관찰되었다.