[논문 리뷰] Human-like Controllable Image Captioning with Verb-specific Semantic Roles

Long Chen, Zhihong Jiang외 2명|arXiv (Cornell University)|2021. 03. 22.

Multimodal Machine Learning Applications참고 문헌 76인용 수 5

한 줄 요약

이 논문은 제어 가능한 이미지 설명 생성을 위한 새로운 제어 신호로 동사별 의미 역할(VSR)을 제안하며, 동사와 그 의미 역할(예: 주체, 위치 등)을 시각적 실체에 기반시켜 사건 호환성과 샘플 적합성을 보장한다. 프레임워크는 기반 의미 역할 레이블링 모델, 의미 구조 기획 모델, 역할 이동 설명 생성 모델을 사용하여 고품질, 다각적이고 인간처럼 자연스러운 설명을 생성하며, COCO Entities 데이터셋에서 정확도와 제어 가능성 측면에서 강력한 베이스라인을 능가한다.

ABSTRACT

Controllable Image Captioning (CIC) -- generating image descriptions following designated control signals -- has received unprecedented attention over the last few years. To emulate the human ability in controlling caption generation, current CIC studies focus exclusively on control signals concerning objective properties, such as contents of interest or descriptive patterns. However, we argue that almost all existing objective control signals have overlooked two indispensable characteristics of an ideal control signal: 1) Event-compatible: all visual contents referred to in a single sentence should be compatible with the described activity. 2) Sample-suitable: the control signals should be suitable for a specific image sample. To this end, we propose a new control signal for CIC: Verb-specific Semantic Roles (VSR). VSR consists of a verb and some semantic roles, which represents a targeted activity and the roles of entities involved in this activity. Given a designated VSR, we first train a grounded semantic role labeling (GSRL) model to identify and ground all entities for each role. Then, we propose a semantic structure planner (SSP) to learn human-like descriptive semantic structures. Lastly, we use a role-shift captioning model to generate the captions. Extensive experiments and ablations demonstrate that our framework can achieve better controllability than several strong baselines on two challenging CIC benchmarks. Besides, we can generate multi-level diverse captions easily. The code is available at: https://github.com/mad-red/VSR-guided-CIC.

연구 동기 및 목표

• 기존의 제어 가능한 이미지 설명 생성에서 사용하는 목적 제어 신호의 한계를 해결하기 위해, 이는 종종 사건 호환성과 샘플 적합성을 보장하지 못한다.
• 기본적으로 기술된 활동과 호환되며 개별 이미지 샘플에 적합한 새로운 제어 신호인 동사별 의미 역할(VSR)을 제안한다.
• VSR 입력으로부터 인간처럼 자연스러운 의미 구조를 학습하여 다양한 고품질의 설명 생성을 가능하게 한다.
• VSR가 최첨단 베이스라인 대비 설명 품질과 제어 가능성 측면에서 향상됨을 입증한다.
• VSR가 다수 수준의 설명 다양성과 제로샷 의미 구조 일반화 잠재력을 갖출 수 있음을 탐색한다.

제안 방법

• 동사와 관련된 의미 역할(예: 주체, 위치, 도구 등)을 포함하는 제어 신호로 동사별 의미 역할(VSR)을 제안하며, 이는 사건 호환성을 보장한다.
• 각 의미 역할에 해당하는 시각적 실체를 식별하고 국소화하는 기반 의미 역할 레이블링(GSRL) 모델을 훈련한다.
• VSR와 기반 영역에서 인간처럼 자연스러운 서술 구조(예: '주체가 위치에서 동사를 수행함')를 학습하는 의미 구조 기획 모델-SSP를 설계한다.
• VSR, 기반 역할, 그리고 학습된 의미 구조를 조건으로 삼아 유창한 설명을 생성하는 역할 이동 설명 생성 모델을 개발한다.
• 동일한 VSR에 대해 SSP에서 다양한 의미 구조를 샘플링하여 빔 서치를 사용해 다각적인 설명을 생성한다.
• VSR의 내재된 구조를 활용하여 훈련 데이터에 존재하지 않는 역할 조합에 대해 제로샷 일반화를 가능하게 하며, 이는 훈련 데이터에 없던 새로운 의미 구조를 발견한 것으로 확인된다.

실험 결과

연구 질문

• RQ1 동사별 의미 역할에 기반한 제어 신호가 제어 가능한 이미지 설명 생성에서 생성된 설명의 사건 호환성을 향상시킬 수 있는가?
• RQ2 기본적으로 기술된 활동이 실제로 존재하는 이미지에 대해 VSR가 적용 가능하여 샘플 적합성을 보장하는가?
• RQ3 제안된 프레임워크는 기존의 베이스라인 대비 더 나은 정확도와 제어 가능성으로 다양한 고품질의 설명을 생성할 수 있는가?
• RQ4 의미 구조 기획 모델(SSP)은 VSR 입력으로부터 인간처럼 자연스러운 서술 문장 패턴을 학습할 수 있는가?
• RQ5 이 프레임워크는 훈련 데이터에 없는 역할 조합으로 일반화되어, 훈련 데이터에 존재하지 않는 새로운 의미 구조를 발견할 수 있는가?

주요 결과

• 제안된 VSR 기반 프레임워크는 COCO Entities 데이터셋에서 CIDEr 점수 267.3을 기록하여 동일한 설정에서 SCT 베이스라인(222.5)과 BS 베이스라인(209.5)을 크게 앞서며 다각적 설명 생성에서 뛰어난 성능을 보였다.
• 한 장의 이미지당 여섯 개의 다양한 설명을 생성할 때 정확도 기반 지표인 CIDEr 점수(59.8)에서 SCT 베이스라인(55.4)과 BS 베이스라인(52.1)을 모두 상회하였다.
• 의미 구조 기획 모델-SSP는 훈련 데이터에 존재하지 않은 새로운 의미 구조를 성공적으로 학습하고 일반화하였으며, 그 결과로 원래 훈련 데이터에 없던 구조(그림 6에서 파란 체크 표시)를 발견하였다.
• 프레임워크는 더 높은 품질의 설명과 더 나은 제어 가능성을 제공하여, 베이스라인 대비 설명 품질과 다양성 사이의 균형을 더 잘 달성하였으며, self-CIDEr에서 다소 낮은 다양성 점수(67.0 vs. SCT의 69.1)를 기록함에도 불구하고 성능이 뛰어나다.
• 그림 7의 시각화 결과는 설명이 주어진 VSR에 효과적으로 대응하며, VSR를 변경하면 의미적으로 다릅르고 다양한 설명이 생성됨을 확인하였다.
• 제거 실험 결과, GSRL과 SSP 요소 모두가 높은 성능을 달성하기 위해 필수적임을 입증하였으며, 둘 중 하나를 제거하면 성능이 크게 떨어졌다.