[논문 리뷰] Independent Prototype Propagation for Zero-Shot Compositionality

Frank Ruis, Gertjan J. Burghouts외 1명|arXiv (Cornell University)|2021. 06. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 35인용 수 23

한 줄 요약

이 논문은 구성적 제로샷 학습을 위한 새로운 프로토타입 전파 방법인 ProtoProp을 제안한다. 이 방법은 물체와 특성에 대해 조건부로 독립적인 시각적 프로토타입을 학습한 후, 이를 조합 그래프를 통해 결합하여 미학습된 특성-물체 조합을 인식한다. AO-Clevr와 UT-Zappos에서 최신 기술(SOTA) 성능을 달성하며, 외부 임bedding이나 클래스 계층 구조에 의존하지 않고도 조화 평균 정확도를 각각 2.5%에서 20.2%까지 향상시켰다.

ABSTRACT

Humans are good at compositional zero-shot reasoning; someone who has never seen a zebra before could nevertheless recognize one when we tell them it looks like a horse with black and white stripes. Machine learning systems, on the other hand, usually leverage spurious correlations in the training data, and while such correlations can help recognize objects in context, they hurt generalization. To be able to deal with underspecified datasets while still leveraging contextual clues during classification, we propose ProtoProp, a novel prototype propagation graph method. First we learn prototypical representations of objects (e.g., zebra) that are conditionally independent w.r.t. their attribute labels (e.g., stripes) and vice versa. Next we propagate the independent prototypes through a compositional graph, to learn compositional prototypes of novel attribute-object combinations that reflect the dependencies of the target distribution. The method does not rely on any external data, such as class hierarchy graphs or pretrained word embeddings. We evaluate our approach on AO-Clever, a synthetic and strongly visual dataset with clean labels, and UT-Zappos, a noisy real-world dataset of fine-grained shoe types. We show that in the generalized compositional zero-shot setting we outperform state-of-the-art results, and through ablations we show the importance of each part of the method and their contribution to the final results.

연구 동기 및 목표

• 학습 예제가 없는 상황에서 새로운 특성-물체 조합을 인식하는 데 도전하는 것, 특히 장꼬리형 데이터 분포 하에서의 도전.
• 제로샷 학습에서 일반화를 방해하는 허위 상관관계를 완화하는 것.
• 시각적 원소(물체와 특성)를 독립적으로 활용하면서도, 새로운 클래스에 대해 의미 있는 조합적 의존성을 포착하는 방법을 개발하는 것.
• 단어 임베딩이나 클래스 계층 그래프와 같은 외부 자원에 의존하지 않는 것.
• 통합적이고 미분 가능한 프레임워크를 통해 보다 일반적인 조합적 제로샷 학습에서 본래의 클래스와 새로운 클래스의 정확도를 모두 향상시키는 것.

제안 방법

• 백본 네트워크를 사용하여 시공간 주의 기반 풀링을 통해 구체적인 패치를 추출함으로써, 물체와 특성에 대한 국소적이고 프로토타입 기반의 표현을 학습한다.
• 히르베르트-슈미트 독립성 기준(HSIC) 손실을 통해 물체와 특성 프로토타입 간의 조건부 독립성을 강제함으로써 허위 상관관계를 감소시킨다.
• 공통된 특성과 물체 간의 관계를 모델링하는 조합 그래프를 통해 프로토타입을 전파함으로써, 새로운 클래스의 조합을 가능하게 한다 (예: 호랑이와 기린 모두 무늬가 있음).
• 그래프 신경망(GNN)이 프로토타입 그래프에서 메시지 전파를 수행하여 본래의 조합과 새로운 조합 모두에 대해 조합적 프로토타입을 생성한다.
• 백본은 프로토타입 손실과 독립성 손실과 함께 엔드 투 엔드로 미세조정되어, 특징 추출기가 더 관련성이 높은 국소적 특징을 학습할 수 있도록 한다.
• 외부 의미적 또는 구조적 데이터에 의존하지 않고, 이미지 수준의 특성 및 물체 레이블만을 사용한다.

실험 결과

연구 질문

• RQ1 물체와 특성에 대해 조건부 독립적인 시각적 프로토타입을 학습함으로써 구성적 제로샷 학습을 향상시킬 수 있는가?
• RQ2 독립적인 프로토타입을 조합 그래프를 통해 전파하면, 새로운 특성-물체 조합에 대한 일반화 성능이 향상되는가?
• RQ3 독립성 손실은 허위 상관관계를 유지하는 모델과 비교해 본래의 클래스와 새로운 클래스의 성능에 어떤 영향을 미치는가?
• RQ4 기존의 최신 기술(SOTA) 방법에 비해, 외부 의미적 또는 구조적 사전 지식 없이 얼마나 뛰어난 성능을 내는가?
• RQ5 국소 프로토타입, 독립성 손실, 백본 미세조정 등 각 구성 요소가 최종 성능에 기여하는 정도는 어느 정도인가?

주요 결과

• AO-Clevr 벤치마크에서 ProtoProp는 기존 최고 성능 모델 대비 조화 평균 정확도를 2.5%에서 20.2%까지 향상시켰으며, 가장 도전적인 4:6 분할에서 가장 큰 성과를 기록했다.
• UT-Zappos 데이터셋에서 ProtoProp는 이전 최신 기술(SOTA) 방법 대비 조화 평균 정확도를 3.1% 향상시켰다.
• 독립성 손실은 핵심 요소이다: 이를 제거하면 성능이 크게 떨어지며, 본래의 클래스와 새로운 클래스의 정확도가 각각 10퍼센트 포인트 이상 감소한다.
• 학습된 시각적 프로토타입을 노드 특성으로 사용할 경우, 단어 임베딩(예: word2vec)을 사용하는 것보다 조화 평균 정확도에서 2.5% 높은 성능을 기록한다.
• 분류에 사용되지 않더라도, 국소 프로토타입을 학습하는 것만으로도 백본의 특징 추출 능력이 향상되어 평균적으로 정확도가 0.8% 향상된다.
• 고정된 백본을 사용할 경우에도 강력한 성능을 기록하며, 전체 방법의 94.8%의 정확도를 매우 짧은 시간 내에 달성하여 강건성과 효율성을 입증한다.