[논문 리뷰] Expressing Visual Relationships via Language

Hao Tan, Franck Dernoncourt외 3명|arXiv (Cornell University)|2019. 06. 18.

Multimodal Machine Learning Applications참고 문헌 44인용 수 4

한 줄 요약

이 논문은 새로운 언어 유도형 이미지 편집 데이터셋을 소개하고, 두 이미지 간 시각적 관계를 자연어로 기술하는 데 사용할 수 있는 관계 기반 스피커 모델을 제안한다. 이 모델은 정적 및 동적 관계 어텐션 메커니즘을 갖추고 있으며, 세 가지 데이터셋에서 모든 기준 모델을 능가하여 이중 이미지 캡셔닝 분야에서 최신 기술 성능을 달성한다. 이는 시각적 전환과 관계를 보다 잘 모델링함으로써 달성되었다.

ABSTRACT

Describing images with text is a fundamental problem in vision-language research. Current studies in this domain mostly focus on single image captioning. However, in various real applications (e.g., image editing, difference interpretation, and retrieval), generating relational captions for two images, can also be very useful. This important problem has not been explored mostly due to lack of datasets and effective models. To push forward the research in this direction, we first introduce a new language-guided image editing dataset that contains a large number of real image pairs with corresponding editing instructions. We then propose a new relational speaker model based on an encoder-decoder architecture with static relational attention and sequential multi-head attention. We also extend the model with dynamic relational attention, which calculates visual alignment while decoding. Our models are evaluated on our newly collected and two public datasets consisting of image pairs annotated with relationship sentences. Experimental results, based on both automatic and human evaluation, demonstrate that our model outperforms all baselines and existing methods on all the datasets.

연구 동기 및 목표

• 두 이미지 간 시각적 관계를 기술하는 자연어 캡션을 생성하는 데 아직 충분히 탐색되지 않은 과제를 해결하기 위해.
• 언어 유도형 이미지 편집을 위한 인간이 애너테이션한 편집 지시문이 포함된 실제 이미지 쌍으로 구성된 고품질이고 다양한 데이터셋을 구축하기 위해.
• 간단한 차이를 넘어서는 복잡한 시각적 관계를 효과적으로 포착할 수 있도록 설계된 신경망 기반 관계 기반 스피커 모델을 개발하기 위해.
• 새로 수집한 데이터셋과 두 개의 공개 벤치마크를 포함한 여러 데이터셋에서 모델을 평가하여 일반화 능력과 강건성을 입증하기 위해.
• 관계 기반 시각적 캡셔닝 분야의 연구를 촉진하기 위해 공개된 데이터셋과 코드베이스를 제공하기 위해.

제안 방법

• 사전에 계산된 시각적 특징을 사용하여 두 이미지 간의 관계를 모델링하기 위해 정적 관계 어텐션을 통합한 새로운 인코더-디코더 아키텍처를 제안한다.
• 캡션 생성 과정에서 장거리 의존성과 순차적 추론을 포착하기 위해 순차적 멀티헤드 어텐션을 도입한다.
• 디코딩 중에 시각적 정렬과 관계 모델링을 동시에 계산하는 동적 관계 어텐션 모듈을 개발하며, 이는 모든 시각적 관계를 대상으로 어텐션을 수행하는 것과 수학적으로 동일하다.
• BLEU, ROUGE, CIDEr와 같은 자동 평가 지표를 최적화하기 위해 강화 학습과 함께 자기주의적 순서 트레이닝(self-critical sequence training)을 사용하여 모델을 훈련시킨다.
• 사전 훈련 후에 새로운 이미지 편집 데이터셋에서 훈련된 모델을 NLVR2 및 Spot-the-Diff와 같은 다양한 데이터셋에서 미세조정함으로써 제로샷 전이를 가능하게 한다.
• 객체 검출 특징을 사전 훈련된 모델에서 가져와 시각적 입력으로 사용하지만, 일부 데이터셋에서 소형 또는 미세한 객체를 탐지하는 데 한계가 있음을 인정한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 두 개의 실제 세계 이미지 간의 복잡한 시각적 관계를 잘 기반으로 하는 자연어 기술을 효과적으로 생성할 수 있는가?
• RQ2 동적 관계 어텐션을 통합함으로써 정적 어텐션 또는 기준 모델에 비해 시각적 전환과 관계 모델링이 얼마나 향상되는가?
• RQ3 대규모 이미지 편집 지시어 데이터셋에서 사전 훈련된 모델이 Spot-the-Diff 및 NLVR2와 같은 다른 이중 이미지 캡셔닝 벤치마크로 일반화할 수 있는 정도는 어느 정도인가?
• RQ4 어떤 종류의 시각적 관계(예: 객체 수준의 변화, 공간 이동, 색상 조정 등)가 제안된 모델에 의해 가장 효과적으로 포착되는가?
• RQ5 자동 평가 및 인간 평가 설정 모두에서 기존 방법과 비교해 모델의 성능은 어떠한가?

주요 결과

• 동적 관계 어텐션을 갖춘 제안된 관계 기반 스피커 모델은 평가된 세 가지 데이터셋 모두에서 최신 기술 성능을 달성한다: 새로 수집한 이미지 편집 요청 데이터셋, Spot-the-Diff, NLVR2.
• 이미지 편집 요청 데이터셋에서, 모델은 자동 평가 지표(예: CIDEr, BLEU)와 인간 평가 양면에서 모든 기준 모델을 뛰어넘으며, 인간 애너테이션 지시사항과의 뛰어난 일치를 보여준다.
• Spot-the-Diff 데이터셋에서, 모든 방법 중 가장 높은 CIDEr 점수를 기록했으며, 인간 평가를 통해 차이점을 더 정확하게 기술하는 데 향상된 성능을 확인했지만, 오류는 여전히 잘못 식별된 실체나 간과된 미세한 변화로 인해 발생한다.
• NLVR2 데이터셋에서, 복잡한 시각적 추론 과제임에도 불구하고 모델은 뛰어난 성능을 보이며, 다양한 시각적 관계 유형으로의 일반화 능력을 보여준다.
• 모델의 성능은 특히 소형 또는 시야가 떨어지는 객체를 탐지하는 데 실패할 경우 시각적 특징 추출의 한계로 인해 이미지 콘텐츠에 민감하게 반응한다.
• 동적 관계 어텐션 메커니즘은 명시적인 국소화 없이도 픽셀 수준의 차이를 암묵적으로 학습할 수 있게 하여, 시각적 전환을 모델링하는 데 효과적임을 입증한다.