[논문 리뷰] Unpaired Image Captioning via Scene Graph Alignments

Jiuxiang Gu, Shafiq Joty외 4명|arXiv (Cornell University)|2019. 03. 26.

Multimodal Machine Learning Applications참고 문헌 42인용 수 26

한 줄 요약

이 논문은 이미지와 텍스트 간의 교차 모odal 브리지로 장면 그래프를 활용하는 새로운 비페어드 이미지 캡션 생성 프레임워크인 Graph-Align을 제안한다. 텍스트 전용 데이터에서 장면 그래프 인코더와 문장 디코더를 훈련하고, CycleGAN 기반의 비지도 특징 정렬을 통해 이미지 장면 그래프 특징을 문장 모odal로 매핑함으로써, 페어드 이미지-캡션 데이터가 전혀 필요 없이도 고품질의 캡션을 생성하며, MSCOCO에서 이전의 비페어드 방법들보다 유의미한 성능 향상을 보였다.

ABSTRACT

Most of current image captioning models heavily rely on paired image-caption datasets. However, getting large scale image-caption paired data is labor-intensive and time-consuming. In this paper, we present a scene graph-based approach for unpaired image captioning. Our framework comprises an image scene graph generator, a sentence scene graph generator, a scene graph encoder, and a sentence decoder. Specifically, we first train the scene graph encoder and the sentence decoder on the text modality. To align the scene graphs between images and sentences, we propose an unsupervised feature alignment method that maps the scene graph features from the image to the sentence modality. Experimental results show that our proposed model can generate quite promising results without using any image-caption training pairs, outperforming existing methods by a wide margin.

연구 동기 및 목표

• 대규모 페어드 이미지-캡션 데이터셋을 수집하는 데 소요되는 비용과 시간을 고려할 때, 이를 필요로 하지 않고도 이미지 캡션 생성 모델을 훈련하는 데 도전하는 것.
• 비페어드 이미지 캡션에서 시각적 표현과 텍스트 표현 간의 모odal 갭을 구조화된 장면 그래프 표현을 활용해 메우는 것.
• 페어드 예제가 필요 없이 이미지 장면 그래프 특징을 텍스트 특징 공간으로 매핑하는 비지도 교차 모달 정렬 방법을 개발하는 것.
• 장면 그래프의 풍부한 의미적 관계를 활용하여, 제로샷 비페어드 환경에서의 캡션 생성 품질을 향상시키는 것.

제안 방법

• 프레임워크는 이미지에서 객체, 관계, 속성 노드를 추출하기 위해 시각적 장면 그래프 생성기를 사용하고, 텍스트에서 문장 장면 그래프를 생성하기 위해 사전 훈련된 언어 파서를 활용한다.
• 장면 그래프 인코더와 문장 디코더는 먼저 대규모 텍스트 전용 코퍼스에서 사전 훈련하여 장면 그래프의 의미적 표현을 학습한다.
• 비지도 특징 정렬 모듈은 CycleGAN 기반으로 구성되어 있어, 인코딩된 이미지 장면 그래프 특징을 텍스트 특징 공간으로 매핑함으로써 교차 모달 호환성을 보장한다.
• 모델은 그래프 컨볼루션 네트워크(GCNs)와 어텐션 메커니즘을 활용하여 장면 그래프 구조를 인코딩하고, 복잡한 객체 간 관계를 포착한다.
• 정합성 있는 순환적 적대적 훈련을 통해 양 모달의 특징이 공유된 정렬된 잠재 공간으로 매핑되도록 보장한다.
• 세 가지 유형의 장면 그래프 임베딩—객체, 관계, 속성—이 별도로 매핑되고 연결되어 정렬 정밀도를 향상시킨다.

실험 결과

연구 질문

• RQ1 장면 그래프는 이미지와 텍스트 모달 간의 비페어드 정렬을 위한 효과적인 중간 표현으로 기능할 수 있는가?
• RQ2 페어드 데이터 없이도 이미지와 문장 장면 그래프 간의 비지도 특징 정렬을 어떻게 달성할 수 있는가?
• RQ3 텍스트 전용 사전 훈련된 문장 디코더는 특징 공간 정렬을 통해 이미지 장면 그래프에서 캡션을 효과적으로 생성할 수 있는가?
• RQ4 비페어드 설정에서 장면 그래프 기반 표현은 종래의 엔드 투 엔드 모델 대비 캡션 품질을 어느 정도 향상시키는가?

주요 결과

• Graph-Align은 MSCOCO 테스트 스플릿에서 SOTA 성능을 달성하여, BLEU-4(21.5), METEOR(20.9), ROUGE(47.2), CIDEr(69.5), SPICE(15.0)를 포함한 모든 지표에서 이전의 비페어드 방법들을 압도적으로 앞서며 성능을 냈다.
• 세 가지 임베딩 유형(객체, 관계, 속성)에 공통된 CycleGAN 매핑을 사용할 경우, 단일 또는 연결된 GAN보다 더 나은 정렬 성능을 보였으며, 이는 표 5에서 확인할 수 있다.
• 판별기 출력 차원을 1로 줄였을 경우 성능이 크게 떨어지며, 이는 효과적인 비지도 정렬을 위해서는 강력한 판별기가 필수적임을 시사한다.
• 정성적 분석 결과, 이미지 장면 그래프가 문장 그래프만큼 구체적이지 않더라도 모델은 의미적으로 관련성이 있는 캡션을 생성하는 것으로 나타나, 모달 불균형에 대해 강건함을 입증했다.
• 실패 케이스 분석 결과, 속성 표현의 정렬 오류와 이미지 그래프에서 국소 영역에 대한 집중 부족이 생성 오류의 원인임을 드러내며, 주요 한계점을 제시했다.