[논문 리뷰] Context-Aware Zero-Shot Learning for Object Recognition

Éloi Zablocki, Patrick Bordes외 3명|arXiv (Cornell University)|2019. 04. 24.

Domain Adaptation and Few-Shot Learning인용 수 16

한 줄 요약

이 논문은 이미지 내 공존하는 물체들로부터 유도된 시각적 맥락을 확률적 프레임워크에 통합하여, 미리 보지 않은 클래스에 대한 물체 인식 성능을 향상시키기 위해 맥락 인식형 제로샷 러닝(ZSL)을 제안한다. 단어 임베딩과 전용 사전 확률 성분을 사용하여 물체의 맥락 조건부 가능도를 모델링함으로써, 표준 ZSL 대비 목표 도메인에서 22%의 상대적 향상과 소스 도메인에서 32%의 상대적 향상을 달성한다. 이는 클래스 불균형에 대한 강건성과 Visual Genome 데이터셋에서의 상당한 성능 향상을 보여준다.

ABSTRACT

Zero-Shot Learning (ZSL) aims at classifying unlabeled objects by leveraging auxiliary knowledge, such as semantic representations. A limitation of previous approaches is that only intrinsic properties of objects, e.g. their visual appearance, are taken into account while their context, e.g. the surrounding objects in the image, is ignored. Following the intuitive principle that objects tend to be found in certain contexts but not others, we propose a new and challenging approach, context-aware ZSL, that leverages semantic representations in a new way to model the conditional likelihood of an object to appear in a given context. Finally, through extensive experiments conducted on Visual Genome, we show that contextual information can substantially improve the standard ZSL approach and is robust to unbalanced classes.

연구 동기 및 목표

• 기존 ZSL 방법이 시각적 특징만에 의존하고 물체 간 맥락적 관계를 忽略하는 한계를 해결하기 위해.
• 장면 내 물체 공존의 의미적 표현이 시각적 외형만을 넘어서 제로샷 일반화 성능을 향상시킬 수 있는지 탐색하기 위해.
• 시각적, 맥락적, 사전 성분을 분리하여 더 나은 해석 가능성과 클래스 불균형에 대한 강건성을 확보하기 위한 확률적 모델을 설계하기 위해.
• Visual Genome와 같이 맥락 정보가 풍부하게 애너테이션된 데이터셋을 대상으로 모델을 평가하여 맥락의 역할이 ZSL에서 실제로 기여하는지 검증하기 위해.
• 시각적 특징이 모호하거나 오도를 일으킬 경우 맥락 정보가 예측을 안내할 수 있음을 입증하기 위해.

제안 방법

• 모델은 물체 인식 가능도를 시각적 가능도, 맥락 가능도, 그리고 물체 빈도를 추정하는 사전 성분의 곱으로 모델링한다.
• 맥락 가능도는 텍스트 지식에서 유도된 공존 물체의 단어 임베딩을 사용하여, 맥락이 주어졌을 때 물체의 조건부 가능도를 추정한다.
• 최종 예측은 시각적, 맥락적, 사전 성분의 가중 조합으로 이루어지며, 이는 모델의 해석 가능성과 클래스 불균형 처리에 기여한다.
• 사전 성분과 맥락 성분의 기여를 균형 잡기 위해 새로운 샘플링 전략을 도입하여, 긴 꼬리 분포에서의 일반화 성능을 향상시킨다.
• Visual Genome 데이터셋을 활용하여 맥락 모델링이 가능한 풍부한 시나리오 수준의 애너테이션(물체 바운딩 박스 및 관계 포함)을 제공하는 데이터셋에서 방법을 평가한다.
• 사전 학습된 단어 임베딩(GloVe 또는 유사한 것들)을 활용하여 물체 클래스 간의 의미적 관계와 공존 엔티티를 표현한다.

실험 결과

연구 질문

• RQ1 장면 내 공존 물체의 존재로 정의되는 시각적 맥락이 내재된 시각적 특징을 넘어서 제로샷 인식 성능을 향상시킬 수 있는가?
• RQ2 맥락 정보를 통합할 경우 ZSL에서 긴 꼬리 및 불균형 데이터셋에서 모델 성능에 어떤 영향을 미치는가?
• RQ3 어떤 경우에 맥락 정보가 성능을 떨어뜨리며, 그 효과성에 영향을 미치는 요소는 무엇인가?
• RQ4 물체 관계의 텍스트적 의미 표현이 ZSL에서 맥락 가능도를 모델링하는 데 얼마나 효과적으로 활용될 수 있는가?
• RQ5 사전, 시각적, 맥락 성분을 분리함으로써 모델의 해석 가능성과 강건성은 어떻게 향상되는가?

주요 결과

• 맥락 인식형 ZSL 모델은 표준 ZSL 대비 목표 도메인에서 22%의 상대적 향상과 소스 도메인에서 32%의 상대적 향상을 달성하여 뚜렷한 성능 향상을 보였다.
• 소스 도메인에서는 True Prior 및 Visual Bayes와 같은 베이스라인 모델을 초월했지만, Oracle 베이스라인은 여전히 목표 도메인에서 성능을 뛰어넘어, 더 나은 맥락 단어 임베딩이 필요함을 시사한다.
• 시각적 특징만으로는 모호한 특정 물체, 예를 들어 '플레이어', '손잡이', '꽃'의 경우 맥락 정보가 예측 성능을 크게 향상시켰다.
• 일반적이거나 맥락 다양성이 높은 물체인 '집'과 '흙'의 경우, 맥락의 변동성이 높아 맥락 정보가 성능을 떨어뜨릴 수 있었으며, 맥락 다양성과 성능 향상 간의 음의 상관관계(ρ = -0.31)를 보였다.
• 정성적 분석 결과, 맥락 성분이 시각 성분의 오류를 수정할 수 있었다. 예를 들어 '꽃'이 빈약한 시각적 신호로 잘못 분류되었을 때, '花병', '잔디', '줄기' 등의 맥락 정보가 이를 다시 상위 예측으로 재순위 매김하는 데 기여했다.
• 사전 성분과 맥락 성분의 분리로 클래스 불균형에 대한 처리가 향상되었으며, 사전 성분은 물체 빈도를 반영하고 맥락 성분은 관계적 신호를 포착한다.