[논문 리뷰] Large-Scale Attribute-Object Compositions

Filip Radenović, Animesh A. Sinha외 3명|arXiv (Cornell University)|2021. 05. 24.

Graph Theory and Algorithms참고 문헌 61인용 수 4

한 줄 요약

이 논문은 인스타그램 해시태그를 노이즈가 많은 감독 신호로 사용하여 대규모 속성-객체 조합 분류를 위한 약한 감독 기반 딥러닝 프레임워크인 CompNet을 제안한다. 객체 및 속성 분류기를 동시에 학습하고 분류기 공간에서 조합함으로써, 모델은 훈련 데이터에 존재하지 않는 새로운 속성-객체 조합으로도 효과적으로 일반화되며, 특히 YFCC100m(7800만 장의 이미지, 7700개의 객체, 1200개의 속성)에서 드문 조합에 대해 빠른 성능을 보인다.

ABSTRACT

We study the problem of learning how to predict attribute-object compositions from images, and its generalization to unseen compositions missing from the training data. To the best of our knowledge, this is a first large-scale study of this problem, involving hundreds of thousands of compositions. We train our framework with images from Instagram using hashtags as noisy weak supervision. We make careful design choices for data collection and modeling, in order to handle noisy annotations and unseen compositions. Finally, extensive evaluations show that learning to compose classifiers outperforms late fusion of individual attribute and object predictions, especially in the case of unseen attribute-object pairs.

연구 동기 및 목표

• 제한적이고 노이즈가 많은 애너테이션을 가진 이미지에서 속성-객체 조합을 학습하는 문제에 대응하기 위해.
• 훈련 데이터에 존재하지 않는 새로운 속성-객체 조합으로의 일반화를 가능하게 하기 위해.
• 수십만 개의 조합을 포함하는 대규모이고 다양한 데이터셋으로 속성-객체 분류를 스케일링하기 위해.
• 각 조합을 명시적으로 학습하는 대신 특징 공간에서 분류기를 조합하는 가용성 있고 종단 간 프레임워크를 설계하기 위해.
• 페이스북 마켓플레이스와 같은 실세계 응용 분야에서 커버리지와 일반화 능력이 핵심인 환경에서의 평가를 위해.

제안 방법

• 다중 헤드 아키텍처를 사용하며, 세 개의 분류기 헤드(객체, 속성 무관한 속성, 속성-객체)를 포함한다.
• 조합 모듈은 분류기 공간에서 객체 및 속성 분류기 가중치를 직접 조합하여, 새로운 조합에 대한 추론이 가능하게 한다.
• 노이즈가 많은 약한 감독 기반의 해시태그를 더 잘 다루고 훈련 중 강건성을 향상시키기 위해 새로운 손실 함수를 설계한다.
• 훈련 및 추론 중 고려 대상이 되는 속성-객체 조합의 수를 줄이기 위해 후보 선택 전략을 도입하여 효율성과 일반화 능력을 향상시킨다.
• 7800만 장의 이미지로 구성된 YFCC100m에서 해시태그를 약한 레이블로 사용하여 모델을 훈련하며, 시각적으로 관련 있고 공유 가능하며 해석 가능한 속성을 선택하기 위해 반자동 해시태그 엔지니어링 프로세스를 적용한다.
• 배포를 위해 추론 시 전체 MLP를 사용하지 않고, 상위-k 조합 점수만 저장함으로써 저장소 및 계산 자원을 절감한다.

실험 결과

연구 질문

• RQ1 대규모 데이터셋에서 노이즈가 많은 약한 감독 기반의 해시태그로부터 딥러닝 모델이 속성-객체 조합을 효과적으로 학습할 수 있는가?
• RQ2 이러한 모델이 훈련 중에 볼 수 없었던 속성-객체 조합으로 얼마나 잘 일반화되는가?
• RQ3 개별 속성 및 객체 예측의 후행 융합보다 분류기의 종단 간 조합이 성능이 더 우수한가?
• RQ4 노이즈가 많은 레이블과 누락된 애너테이션 상황에서도 조합 모듈이 강건해지기 위해 필요한 설계 선택은 무엇인가?
• RQ5 페이스북 마켓플레이스와 같은 실세계 시스템에서 확장 가능한 속성 필터링 및 랭킹을 위해 이 프레임워크를 효과적으로 구현할 수 있는가?

주요 결과

• 제안된 CompNet 프레임워크는 특히 새로운 속성-객체 조합에 대해 빠른 일반화 성능을 보이며, 후행 융합 기반의 기존 방법들을 뛰어넘는다.
• 분류기 공간에서의 조합 메커니즘이 속성과 객체 간의 인덕티브 바이어스를 제공함으로써, 드문 조합이나 관측되지 않은 조합으로의 일반화가 효과적으로 이루어진다.
• 7800만 장의 이미지, 7,694개의 객체, 1,237개의 속성, 28만 개의 조합을 포함하는 YFCC100m에서의 광범위한 평가 결과, 볼 수 있는 경우와 볼 수 없는 경우 모두 뛰어난 성능을 보였다.
• 프레임워크는 페이스북 마켓플레이스에서 속성 필터링 및 피드 랭킹에 활용 가능하며, 재학습이나 새로운 애너테이션 없이도 새로운 카테고리에 대해 새로운 속성을 조합할 수 있도록 한다.
• 후보 선택 전략을 사용하고 상위-k 조합 점수만 저장함으로써, 저장소 및 추론 비용을 줄이면서도 높은 커버리지와 성능를 유지한다.
• 실세계 환경에서의 확장성과 강건성을 입증하였으며, 상거래 및 검색 응용 분야로의 광범위한 도입 가능성이 있다.