[논문 리뷰] MAF: Multimodal Alignment Framework for Weakly-Supervised Phrase Grounding

Qinxin Wang, Hao Tan외 3명|arXiv (Cornell University)|2020. 10. 12.

Multimodal Machine Learning Applications참고 문헌 23인용 수 5

한 줄 요약

MAF는 약한 감독 하에서 문장 기반 객체 지목을 위한 다중모달 정렬 프레임워크를 제안하며, 객체 레이블을 초월하는 세분화된 특징을 통해 시각적 표현을 향상시키고, 시각적으로 인지된 언어 표현을 사용하여 정렬을 향상시킨다. 약한 감독 하에서 Flickr30k Entities에서 61.43%의 정확도를 기록하여 이전 최고 성능 방법보다 22.72% 향상되었고, 무감독 성능은 5.56% 향상되어 56.05%에 도달한다.

ABSTRACT

Phrase localization is a task that studies the mapping from textual phrases to regions of an image. Given difficulties in annotating phrase-to-object datasets at scale, we develop a Multimodal Alignment Framework (MAF) to leverage more widely-available caption-image datasets, which can then be used as a form of weak supervision. We first present algorithms to model phrase-object relevance by leveraging fine-grained visual representations and visually-aware language representations. By adopting a contrastive objective, our method uses information in caption-image pairs to boost the performance in weakly-supervised scenarios. Experiments conducted on the widely-adopted Flickr30k dataset show a significant improvement over existing weakly-supervised methods. With the help of the visually-aware language representations, we can also improve the previous best unsupervised result by 5.56%. We conduct ablation studies to show that both our novel model and our weakly-supervised strategies significantly contribute to our strong results.

연구 동기 및 목표

• 캡션-이미지 쌍을 약한 감독으로 활용하여 대규모 문장-객체 주석이 있는 데이터셋의 부족을 해결한다.
• 객체 레이블 기반 정렬의 모호함을 해소하기 위해, Faster R-CNN에서 유도된 세분화된 시각적 특징(예: 객체 레이블)을 객체 레이블과 통합한다.
• 향상된 다중모달 정렬을 통해 약한 감독 및 무감독 설정 모두에서 문장 기반 객체 지목 성능을 향상시킨다.
• 캡션-이미지의 관련성을 기반으로 시각적 및 텍스처적 표현을 정렬하기 위한 대비 학습 목표를 설계한다.
• 시각적으로 인지된 언어 표현과 구성 요소의 제거 실험을 통해 정렬 정확도 향상 효과를 입증한다.

제안 방법

• 사전 훈련된 Faster R-CNN 객체 검출기에서 유도된 객체 레이블, 시각적 특징, 속성을 결합하여 시각적 표현을 향상시킨다.
• 문장 임베딩과 향상된 시각적 특징 간의 교차 어텐션을 사용하여 시각적으로 인지된 언어 표현을 구성한다.
• 통합된 시각-언어 표현을 기반으로 문장-객체 매칭 점수를 계산하기 위한 다중모달 유사도 함수를 설계한다.
• 관련된 캡션-이미지 쌍에 대해 더 높은 점수를 유도하도록 하는 대비 목표를 사용하여 모델을 훈련시킨다.
• 이중 단계 훈련 전략을 적용한다: 먼저 시각적 및 텍스처적 인코더를 사전 훈련하고, 이후 대비 손실을 사용하여 정렬 헤드를 미세조정한다.
• 훈련 안정성과 성능 향상을 위해 특정 가중치 초기화 전략을 적용한다(시각적 프로젝션은 0으로, 텍스처적 프로젝션은 항등 행렬 + 노이즈로 초기화한다).

실험 결과

연구 질문

• RQ1 캡션-이미지 쌍만 제공될 때 세분화된 시각적 표현이 문장 기반 객체 지목 성능 향상에 기여하는가?
• RQ2 시각적으로 인지된 언어 표현을 통합할 경우 약한 감독 하 문장 기반 객체 지문의 정렬 정확도에 어떤 영향을 미치는가?
• RQ3 다양한 시각적 특징(레이블, 특징, 속성)이 최종 지목 성능에 기여하는 정도는 어떠한가?
• RQ4 정렬 헤드의 다양한 초기화 전략이 모델 수렴과 정확도에 어떤 영향을 미치는가?
• RQ5 제안된 프레임워크는 문장-객체 쌍 주석이 전혀 없는 무감독 환경에서 얼마나 높은 성능 향상을 이룰 수 있는가?

주요 결과

• MAF는 약한 감독 하에서 Flickr30k Entities에서 61.43%의 정확도를 기록하여 이전 최고 성능 방법보다 22.72% 향상되었다.
• 무감독 설정에서 MAF는 시각적으로 인지된 언어 표현을 사용하여 이전 최고 성능 결과인 50.49%에서 56.05%로 향상되었다.
• 텍스트 특징 표현에서 시각적 어텐션을 평균 풀링으로 대체할 경우 정확도가 61.43%에서 60% 이하로 떨어지며, 어텐션의 중요성을 입증한다.
• 시각적 특징 표현에서 객체 레이블 또는 시각적 특징만 사용할 경우 각각 정확도가 4.20%, 2.94% 감소하여 통합 표현의 필요성을 시사한다.
• 가장 우수한 초기화 전략은 시각적 프로젝션 행렬을 0으로 초기화하고, 텍스트 프로젝션 행렬을 항등 행렬 + 랜덤 노이즈로 초기화하는 것으로, 낮은 분산을 동반해 61.28%의 정확도를 달성했다.
• 모든 시각적 특징(레이블, 특징, 속성)을 사용한 전체 모델는 레이블과 특징만 사용한 모델보다 성능이 열 劣하므로, 이 데이터셋에서는 속성이 제한된 분류 능력을 제공하는 것으로 나타났다.