[논문 리뷰] Care about you: towards large-scale human-centric visual relationship detection

Bohan Zhuang, Qi Wu외 3명|arXiv (Cornell University)|2017. 05. 28.

Multimodal Machine Learning Applications참고 문헌 29인용 수 17

한 줄 요약

이 논문은 9,852개의 관계 카테고리와 18,471개의 제로샷 관계를 포함하는 대규모 인간 중심 시각적 관계 검출 데이터셋 HCVRD를 소개한다. 이는 장꼬리 분포 문제와 제로샷 인식 문제를 해결하기 위해 설계되었으며, 웹에서 확보한 임베딩과 메트릭 학습을 활용한 웹리-초순화된 방법을 제안하여 제로샷 일반화 성능을 향상시켰다. 이는 소수의 샘플이 있는 경우와 제로샷 벤치마크에서 모두 최고 성능을 기록하였다.

ABSTRACT

Visual relationship detection aims to capture interactions between pairs of objects in images. Relationships between objects and humans represent a particularly important subset of this problem, with implications for challenges such as understanding human behaviour, and identifying affordances, amongst others. In addressing this problem we first construct a large-scale human-centric visual relationship detection dataset (HCVRD), which provides many more types of relationship annotation (nearly 10K categories) than the previous released datasets. This large label space better reflects the reality of human-object interactions, but gives rise to a long-tail distribution problem, which in turn demands a zero-shot approach to labels appearing only in the test set. This is the first time this issue has been addressed. We propose a webly-supervised approach to these problems and demonstrate that the proposed model provides a strong baseline on our HCVRD dataset.

연구 동기 및 목표

• 인간-물체 관계 검출에서 장꼬리 분포 문제를 해결하기 위해 다양한 관계 카테고리로 구성된 대규모이고 세밀한 데이터셋을 구축함으로써 시각적 관계 인식의 현실성과 실용성을 향상시키는 것.
• 학습 중에 볼 수 없었던 관계에 대해 제로샷 인식을 가능하게 하여, 희귀 상호작용이 흔한 실세계 환경에서의 구현에 필수적인 기능을 제공하는 것.
• 약한 레이블이 부여된 웹 데이터를 활용하여 희귀 및 알려지지 않은 관계에 대한 일반화 성능을 향상시키는 확장 가능한 웹리-초순화된 방법을 개발하는 것.
• 실제로 대규모 데이터를 기반으로 한 인간 중심 시각적 관계 검출 분야의 향후 연구를 위한 강력한 베이스라인을 제공하는 것.

제안 방법

• 인간 주제에 대해 남성, 여성, 소년, 소녀 4개의 하위 카테고리를 포함하여 Visual Genome를 확장함으로써 9,852개의 세밀한 술어를 추가하여 인간-물체 상호작용 모델링의 더 나은 세부성 확보.
• Google Images에서 확보한 웹 데이터를 활용하여 희귀 및 알려지지 않은 관계에 대한 자동으로 수집되고 풍부화된 학습 데이터 확보. 검색 결과에서 유도된 약한 지도 학습 활용.
• 관계를 공통된 의미 공간에 임베딩하기 위해 거리 메트릭 학습 프레임워크 적용. 웹에서 확보한 임베딩 기반으로 최소 거리 검색을 통한 제로샷 예측 가능.
• 노이즈가 포함된 또는 관련이 없는 웹 결과의 영향을 줄이기 위해 웹 기반 임베딩의 품질을 향상시키기 위한 노이즈 필터링 단계 통합.
• 두 단계 검출 파이프라인 적용: 먼저 인간 및 물체의 바운딩 박스를 검출하고, 그 다음 의미 유사도를 기반으로 웹 임베딩 프로토타입과 비교하여 관계 트리플릿 예측.
• 특징 추출을 위해 VGG-16 백본을 훈련하고, 테스트 샘플과 관계 카테고리의 평균 임베딩 간 코사인 유사도를 계산하여 추론 수행.

실험 결과

연구 질문

• RQ1 장꼬리 레이블 분포를 가진 대규모이고 세밀한 인간 중심 시각적 관계 검출 데이터셋이 시각적 관계 인식의 현실성과 실용성을 향상시키는가?
• RQ2 희귀 및 알려지지 않은 관계에 대한 데이터 부족 문제를 완화하기 위해 웹리-초순화된 학습이 얼마나 효과적인가?
• RQ3 웹에서 확보한 임베딩에 대한 메트릭 학습이 인간-물체 상호작용 인식에서 강력한 제로샷 일반화를 가능하게 하는 정도는 어느 정도인가?
• RQ4 웹 데이터 증강, 노이즈 필터링, 메트릭 학습 중에서 어떤 요소가 제로샷 성능 향상에 가장 기여하는가?
• RQ5 통합된 프레임워크가 인간 중심 시각적 관계 검출에서 소수 샘플 및 제로샷 설정을 효과적으로 처리할 수 있는가?

주요 결과

• 비제로샷 테스트 세트에서 관계 검출에 대해 10.03% R@50 및 13.05% R@100를 기록하여, SeparateCNN(0.06% 및 0.11% R@50 및 R@100)과 같은 베이스라인을 크게 앞서는 성능 확보.
• 제로샷 테스트 세트에서 술어 검출에 대해 8.15% R@50 및 13.42% R@100 기록하여, 알려지지 않은 관계에 대한 강력한 일반화 성능 입증.
• 절단 실험 결과, 메트릭 학습 모듈을 제거할 경우 성능이 가장 크게 감소함(10.03%에서 5.87% R@50로 감소), 이는 의미 정렬에 있어 핵심적인 역할을 함을 시사.
• 노이즈 필터링은 메트릭 학습만큼 기여도가 낮지만 여전히 성능 향상 기여함으로써, 웹 데이터 품질을 개선하는 데 도움을 주지만 주요 동력은 아님.
• 웹 데이터와 메트릭 학습을 모두 포함한 전체 모델은 관계 검출에서 top-1 정확도 0.59, top-3 정확도 0.72 기록. 핵심 구성 요소가 빠진 변형 대비 뛰어난 성능 확보.
• 외부 웹 데이터를 활용한 의미 공간 내 최소 거리 검색 덕분에, 알려지지 않은 관계로의 일반화가 강력하게 이루어지며 성능 향상 기여.