[논문 리뷰] Learning to Infer Unseen Single-/Multi-Attribute-Object Compositions with Graph Networks

Hui Chen, Jiang, Jingjing외 1명|arXiv (Cornell University)|2020. 10. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 50인용 수 7

한 줄 요약

이 논문은 시각적 특징과 단어 임bedded 레이블을 공유 잠재 공간에 매핑하여, 구성 인식을 의미적 거리 최소화를 통해 수행하는 그래프 신경망 기반 모델을 제안한다. 이 모델은 특히 외관이 유사한 조합을 구분하는 데서도 최신 기술 성능을 달성하며, 116,099장의 이미지와 8,030개의 카테고리로 구성된 새로운 다중속성 데이터셋(MAD)을 도입한다.

ABSTRACT

Inferring the unseen attribute-object composition is critical to make machines learn to decompose and compose complex concepts like people. Most existing methods are limited to the composition recognition of single-attribute-object, and can hardly learn relations between the attributes and objects. In this paper, we propose an attribute-object semantic association graph model to learn the complex relations and enable knowledge transfer between primitives. With nodes representing attributes and objects, the graph can be constructed flexibly, which realizes both single- and multi-attribute-object composition recognition. In order to reduce mis-classifications of similar compositions (e.g., scratched screen and broken screen), driven by the contrastive loss, the anchor image feature is pulled closer to the corresponding label feature and pushed away from other negative label features. Specifically, a novel balance loss is proposed to alleviate the domain bias, where a model prefers to predict seen compositions. In addition, we build a large-scale MultiAttribute Dataset (MAD) with 116,099 images and 8,030 label categories for inferring unseen multi-attribute-object compositions. Along with MAD, we propose two novel metrics Hard and Soft to give a comprehensive evaluation in the multi-attribute setting. Experiments on MAD and two other single-attribute-object benchmarks (MIT-States and UT-Zappos50K) demonstrate the effectiveness of our approach.

연구 동기 및 목표

• 학습 중에 볼 수 없었던 속성-객체 조합을 인식하는 문제를 해결하며, 특히 외관이 유사한 조합에 대해 고려한다.
• 의미적 관계를 포착하는 그래프 구조적 표현을 사용하여 속성과 객체 간의 상호의존성을 모델링한다.
• 추상적 속성의 내재된 특징 표현과 객체와의 조합을 학습하여 희소 학습 일반화 성능을 향상시킨다.
• 다양하고 대규모의 데이터셋(MAD)을 구축하여 다중속성 조합 인식 연구를 지원한다.
• 실세계 시각 이해 작업에서 복잡하고 새로운 속성-객체 조합을 민첩하고 확장 가능한 방식으로 인식할 수 있도록 한다.

제안 방법

• 이미지의 시각적 특징과 속성-객체 레이블 임베딩(사전 학습된 word2vec를 통한)을 그래프 컬러레이션 네트워크(GCN)를 사용해 공유 잠재 공간에 매핑한다.
• 동일한 조합의 특징을 압축하고 잠재 공간 내에서 다른 조합 간의 간격을 증가시키기 위해 조합 클러스터링 메커니즘을 도입한다.
• GCN의 인접 행렬을 스파arsity 정규화와 함께 엔드 투 엔드로 학습하여 의미적 상관관계를 유의미하게 포착한다.
• 추론은 잠재 공간에서 이미지 특징와 가장 가까운(코사인 거리 기준) 의미 임베딩을 가진 조합을 찾는 방식으로 수행된다.
• 같은 조합 내 특징의 응집성과 다른 조합 간의 분리성을 유도하기 위해 시아미즈 유사 대비 손실을 사용한다.
• 새로운 대규모 데이터셋(MAD)에서 학습하고, MIT-States, UT-Zappos50K, MAD의 세 가지 벤치마크에서 평가한다.

실험 결과

연구 질문

• RQ1 학습된 의미적 관계를 활용하여 그래프 기반 모델이 새로운 속성-객체 조합을 효과적으로 인식할 수 있는가?
• RQ2 비슷한 외관을 가진 조합, 예를 들어 '슬라이스 토마토'와 '슬라이스 사과'를 얼마나 잘 구분할 수 있는가?
• RQ3 그래프 구조가 의미 있는, 애초에 애너테이션되지 않은 속성-객체 상관관계를 얼마나 잘 포착하는가(예: '펜 컵'과 '볼펜')?
• RQ4 단일속성 기반 모델 대비 다중속성 조합에 대해 모델의 일반화 성능은 어떠한가?
• RQ5 아키텍처 선택(예: 배치 크기, 깊이)이 모델의 성능와 내구성에 어떤 영향을 미치는가?

주요 결과

• 제안된 모델은 MAD 데이터셋의 폐쇄형 분할에서 33.3%의 top-1 정확도, 개방형 분할에서 16.0%의 정확도를 기록하여 새로운 최고 성능를 달성한다.
• MIT-States와 UT-Zappos50K에서 기존 기반 모델보다 뚜렷이 뛰어난 성능를 보이며, 특히 외관이 모호한 조합을 다룰 때 유의미한 개선을 보인다.
• t-SNE 시각화 결과는 조합 클러스터링 메커니즘이 동일한 조합의 특징을 효과적으로 군집화하고 조합 간 간격을 증가시킨다는 것을 확인한다.
• 학습된 인접 행렬은 의미 있는, 학습되지 않은 상관관계를 드러내며, 예를 들어 훈련 예제가 없더라도 '혼잡한'은 '줄'과 연결되어 있음을 보여, 모델이 의미적 관계를 추론할 수 있음을 입증한다.
• 모델은 깊이와 배치 크기에 대해 강건하며, GCN 레이어가 3~4개일 때 성능이 최고에 이르고, 다양한 배치 크기에서 안정적인 성능를 유지한다.
• 제거 실험 결과는 그래프 구조와 조합 클러스터링 메커니즘이 성능 향상에 필수적임을 확인하며, 특히 유사한 조합을 구분하는 데서 두 요소의 기여가 두드러진다.