[논문 리뷰] Rethinking Diversified and Discriminative Proposal Generation for Visual Grounding

Yu Zhou, Jun Yu외 4명|arXiv (Cornell University)|2018. 05. 09.

Multimodal Machine Learning Applications인용 수 3

한 줄 요약

이 논문은 시각적 기초를 위한 개체 제안 생성에서 다양성과 분류 능력을 동시에 최적화하는 새로운 접근법인 다각화되고 분류 가능한 제안 네트워크(Diversified and Discriminative Proposal Networks, DDPN)를 제안한다. 높은 품질의 제안을 생성하고 KLD 및 회귀 손실을 활용해 강력한 베이스라인을 훈련시킴으로써 DDPN은 최신 기술 수준의 성능을 달성하였으며, 이는 기존 방법 대비 ReferItGame에서 18.8% 향상되고 Flickr30k Entities에서 8.2% 향상된 결과를 보였다.

ABSTRACT

Visual grounding aims to localize an object in an image referred to by a textual query phrase. Various visual grounding approaches have been proposed, and the problem can be modularized into a general framework: proposal generation, multi-modal feature representation, and proposal ranking. Of these three modules, most existing approaches focus on the latter two, with the importance of proposal generation generally neglected. In this paper, we rethink the problem of what properties make a good proposal generator. We introduce the diversity and discrimination simultaneously when generating proposals, and in doing so propose Diversified and Discriminative Proposal Networks model (DDPN). Based on the proposals generated by DDPN, we propose a high performance baseline model for visual grounding and evaluate it on four benchmark datasets. Experimental results demonstrate that our model delivers significant improvements on all the tested data-sets (e.g., 18.8\% improvement on ReferItGame and 8.2\% improvement on Flickr30k Entities over the existing state-of-the-arts respectively)

연구 동기 및 목표

• 시각적 기초에서 제안 생성의 역할은 일반적으로 고정된 모듈로 간주되므로, 이에 대한 미비하게 다뤄진 역할을 해결하고자 한다.
• 높은 품질의 제안 생성기의 특성은 무엇인지, 다양성과 분류 능력을 동시에 최적화하는 방법을 탐구하고자 한다.
• 제안의 다양성과 분류 능력을 동시에 향상시키는 통합 프레임워크를 설계하고자 한다.
• DDPN으로 생성된 제안과 새로운 훈련 손실을 활용해 시각적 기초를 위한 강력한 베이스라인을 수립하고자 한다.
• 다양한 벤치마크 데이터셋을 대상으로 광범위한 분석 및 비교를 통해 DDPN의 효과성을 검증하고자 한다.

제안 방법

• 다양성과 분류 품질을 동시에 최적화하는 이중 스트림 네트워크인 다각화되고 분류 가능한 제안 네트워크(DDPN)를 제안한다.
• 특징 클러스터링 기반의 다양성 손실을 사용하여 제안이 서로 다른 개체 영역을 커버하도록 유도한다.
• 대조 학습을 활용한 분류 손실을 적용하여 제안 간 상호 분리성과 배경과의 분리 능력을 향상시킨다.
• 시각적 및 텍스처적 특징 간 다중모odal 융합을 위해 단순한 특징 연결 모듈을 DDPN에 통합한다.
• 두 가지 새로운 손실을 사용해 전체 모델을 훈련한다: 부드러운 레이블을 활용한 쿨백-라이블러(Kullback-Leibler, KLD) 발산 손실을 통해 제안의 맥락을 모델링하고, 경계 상자 보정을 위한 스무드한 L1 회귀 손실을 적용한다.
• 성능에 미치는 특징 표현 능력의 영향을 평가하기 위해 VGG-16과 ResNet-101을 백본으로 사용한다.

실험 결과

연구 질문

• RQ1 어떤 특성이 제안 생성기가 시각적 기초에 효과적으로 작용하게 하는가? 다양성과 분류 능력을 동시에 최적화하는 방법은 무엇인가?
• RQ2 표준 RPN 또는 선택적 검색과 비교했을 때 통합된 제안 생성 프레임워크가 시각적 기초 성능을 크게 향상시킬 수 있는가?
• RQ3 부드러운 레이블을 활용한 KLD 손실과 회귀 손실은 정확한 국소화에 어떻게 기여하는가?
• RQ4 백본 네트워크의 선택(예: VGG-16 대비 ResNet-101)이 DDPN 기반 시스템의 성능에 어느 정도의 영향을 미치는가?
• RQ5 제안된 DDPN 기반 베이스라인 모델은 다양한 벤치마크에서 최신 기술 수준의 방법들과 비교해 어떻게 성능을 발휘하는가?

주요 결과

• DDPN 기반 모델은 ReferItGame에서 기존 최신 기술 수준의 44.2% 대비 63.0%로 18.8%p의 절대적 향상을 기록하였고, Flickr30k Entities에서는 65.1%에서 73.3%로 8.2%p 향상되었다.
• 백본으로 ResNet-101을 사용할 경우 VGG-16 대비 3–4%p 성능 향상을 보이며, 특징 표현 능력의 중요성을 입증하였다.
• 절단 분석 결과 DDPN 내의 다양성 및 분류 구성 요소가 모두 필수적임을 확인하였으며, 둘 중 하나를 제거할 경우 성능 저하가 심각하게 발생하였다.
• 부드러운 레이블을 활용한 KLD 손실은 제안의 맥락 모델링을 향상시켜 순위 정렬 성능 향상에 기여하였다.
• 스무드한 L1 회귀 손실은 경계 상자 예측을 효과적으로 보정하여 국소화 오차를 감소시키고 IoU 점수를 향상시켰다.
• 제안된 베이스라인 모델은 RefCOCO, RefCOCO+, Flickr30k Entities, ReferItGame의 네 가지 벤치마크 데이터셋에서 모두 이전 최신 기술 수준의 방법들을 능가하는 성능을 보였다.