[논문 리뷰] Context and Attribute Grounded Dense Captioning

Guojun Yin, Lu Sheng외 4명|arXiv (Cornell University)|2019. 04. 02.

Multimodal Machine Learning Applications참고 문헌 38인용 수 6

한 줄 요약

이 논문은 다중 척도적 맥락 정보—지역, 인접, 전역—를 비국소 유사도 그래프를 통해 특징 상호작용을 통한 특징 간 상호작용을 통합함으로써 밀도 높은 캡션을 향상시키는 엔드 투 엔드 프레임워크인 Context and Attribute Grounded Dense Captioning (CAG-Net)을 제안한다. 또한 군집에서 세분화된 언어적 속성 감독을 통해 캡션 품질을 향상시켜 Visual Genome 데이터셋에서 RPN에 대해 9.144%의 mAP, GT에 대해 33.412%의 mAP로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Dense captioning aims at simultaneously localizing semantic regions and describing these regions-of-interest (ROIs) with short phrases or sentences in natural language. Previous studies have shown remarkable progresses, but they are often vulnerable to the aperture problem that a caption generated by the features inside one ROI lacks contextual coherence with its surrounding context in the input image. In this work, we investigate contextual reasoning based on multi-scale message propagations from the neighboring contents to the target ROIs. To this end, we design a novel end-to-end context and attribute grounded dense captioning framework consisting of 1) a contextual visual mining module and 2) a multi-level attribute grounded description generation module. Knowing that captions often co-occur with the linguistic attributes (such as who, what and where), we also incorporate an auxiliary supervision from hierarchical linguistic attributes to augment the distinctiveness of the learned captions. Extensive experiments and ablation studies on Visual Genome dataset demonstrate the superiority of the proposed model in comparison to state-of-the-art methods.

연구 동기 및 목표

• 밀도 높은 캡션에서 영역 기술이 주변 이미지 콘텐츠와 맥락적으로 일관성이 없을 때 발생하는 '조리개 문제'를 해결하기 위해.
• 적응형 메시지 전파를 통해 지역, 인접, 전역 영역의 다중 척도 시각적 맥락을 통합함으로써 캡션 정확도를 향상시키기 위해.
• 계층적 언어적 속성 감독을 통해 계층적인 세분화된 학습 체계를 통해 생성된 캡션의 구분 능력을 향상시키기 위해.
• 대규모 벤치마크(Visual Genome)에서 맥락적 특징 추출 및 속성 기반 지도의 효과를 입증하기 위해.

제안 방법

• 맥락적 특징 추출기는 목표 ROI와 그 k개 이웃 영역 간의 특징 유사도와 공간적 근접성을 모델링하기 위해 비국소 유사도 그래프를 사용하여 다중 척도 메시지 전파를 수행한다.
• 학습된 어텐션 가중치를 통해 이웃 및 전역 영역의 맥락적 특징을 융합하여 목표 영역 표현을 풍부하게 한다.
• 속성 기반 캡션 생성기는 LSTM 기반 디코더를 사용하며, '누구', '무엇', '어디'와 같은 계층적 언어적 속성(예: 거시적 및 미세 수준)에서 보조 감독을 받는다.
• 거시적-미세적 언어적 속성 감독은 LSTM 레이어의 다른 수준에서 별도의 손실 함수를 통해 적용되어 예측 키워드와 시각적 콘텐츠 간의 정렬을 향상시킨다.
• 프레임워크는 영역 위치 추정(RPN)과 캡션 생성을 동시에 최적화하는 방식으로 엔드 투 엔드로 훈련되며, 지식 기반 캡션과 언어적 속성을 감독으로 사용한다.
• 모델은 영역 제안을 위해 Faster R-CNN을 활용하고, 캡션 디코딩 중 맥락 및 속성 신호를 통합한다.

Figure 1: Dense captioning with different levels of contextual interactions: (i) without any contextual cues (marked by blue ) [ 20 ] , (ii) with guidance from the global cue (marked by red ) [ 34 ] , and (iii) with mutual interactions from neighboring (marked by orange ) and global visual informati

실험 결과

연구 질문

• RQ1 지역 특징에만 의존하는 것과 비교해, 인접 및 전역 영역의 다중 척도 맥락 정보를 통합함으로써 밀도 높은 캡션 성능이 어떻게 향상되는가?
• RQ2 목표 영역와 이웃 영역 간 특징 상호작용에 비국소 유사도 그래프를 사용할 경우 어떤 영향을 미치는가?
• RQ3 거시적-미세적 언어적 속성 감독은 생성된 캡션의 구분 능력과 정확도를 향상시킬 수 있는가?
• RQ4 이웃 영역 수(k)가 맥락적 특징 추출기 성능에 어떤 영향을 미치는가?
• RQ5 Visual Genome 벤치마크에서 지역화 및 캡션 생성 모두에서 최신 기술 수준의 접근 방식을 초월하는가?

주요 결과

• 비국소 유사도 그래프를 사용한 맥락적 특징 추출기가 완전 연결, 최대 풀링, 평균 풀링 레이어를 사용한 기존 방법보다 우수한 성능을 보이며, RPN에 대해 9.144%의 mAP, GT에 대해 33.412%의 mAP를 달성한다.
• 이웃 영역 수 k=20일 때가 가장 우수한 성능을 보이며, k=10, 30, 50, 100과 비교해 mAP 및 캡션 정확도에서 뛰어난 성능을 기록한다.
• IoU 기반 '가장 가까운' 설정이 '랜덤' 선택보다 우수한 성능을 보이며, 공간적 및 의미적 근접성이 맥락 통합에 유리함을 확인한다.
• 거시적-미세적 언어적 속성 감독은 특징의 구분 능력을 향상시키고 모호성을 줄여 캡션 품질을 크게 향상시킨다.
• 제거 실험을 통해 맥락적 특징 추출과 속성 기반 지도가 성능 향상에 독립적으로 기여하며 상호 보완적 작용을 한다는 점을 확인한다.
• 제안된 CAG-Net은 Visual Genome 데이터셋에서 최신 기술 수준의 성능을 달성하여 공동 영역 위치 추정 및 기술 생성에서 뛰어난 성능을 보여준다.

Figure 2: The architecture of CAG-Net. The multi-scale features are generated by the proposed Contextual Feature Extractor after region proposals. Then the local (in blue) feature of the target region and multi-scale context cues, i.e . , global (in red) and neighboring (in orange), broadcast into t