[논문 리뷰] Integrating Image Captioning with Rule-based Entity Masking

Aditya Mogadala, Xiaoyu Shen외 1명|arXiv (Cornell University)|2020. 07. 22.

Multimodal Machine Learning Applications참고 문헌 23인용 수 4

한 줄 요약

이 논문은 지식 그래프 엔티티를 사용한 규칙 기반 엔티티 마스킹을 통합하여 설명 가능성과 캡션 생성에 대한 제어력을 향상시킨 새로운 엔드 투 엔드 이미지 캡션 모델인 Interpret-IC를 제안한다. 국소적 객체 특징을 의미적으로 풍부한 엔티티 표현으로 대체하고 인간이 이해할 수 있는 마스크를 적용함으로써, 기준 모델에 비해 더 나은 객체 커버리지, 캡션 정확도 및 다양성을 달성하였으며, 특히 잘못된 객체 주의를 수정하는 데서 두드러진 성능을 보였다.

ABSTRACT

Given an image, generating its natural language description (i.e., caption) is a well studied problem. Approaches proposed to address this problem usually rely on image features that are difficult to interpret. Particularly, these image features are subdivided into global and local features, where global features are extracted from the global representation of the image, while local features are extracted from the objects detected locally in an image. Although, local features extract rich visual information from the image, existing models generate captions in a blackbox manner and humans have difficulty interpreting which local objects the caption is aimed to represent. Hence in this paper, we propose a novel framework for the image captioning with an explicit object (e.g., knowledge graph entity) selection process while still maintaining its end-to-end training ability. The model first explicitly selects which local entities to include in the caption according to a human-interpretable mask, then generate proper captions by attending to selected entities. Experiments conducted on the MSCOCO dataset demonstrate that our method achieves good performance in terms of the caption quality and diversity with a more interpretable generating process than previous counterparts.

연구 동기 및 목표

• 기존 이미지 캡션 모델이 국소적 이미지 특징에 대한 블랙박스 주의 메커니즘에 의존함에 따라 해석 가능성이 부족한 문제를 해결하기 위해.
• 사용자 의도와 의미적 관련성에 기반한 수작업 규칙을 통해 관련 엔티티를 선택함으로써, 캡션에 포함되는 시각적 엔티티에 대한 명시적이고 인간이 이해할 수 있는 제어를 가능하게 하기 위해.
• 국소적 객체를 의미적으로 풍부한 지식 그래프 엔티티에 기반하여 정렬함으로써 캡션 품질과 다양성을 향상시키기 위해.
• 해석 가능성이 캡션 생성의 정확도와 다양성을 향상시킬 수 있으며, 엔드 투 엔드 학습 능력을 손상시키지 않음을 입증하기 위해.

제안 방법

• 모델은 검출된 국소적 객체를 지식 그래프 엔티티로 매핑하기 위해 다중 레이블 이미지 분류기를 사용하며, 원시 시각적 특징을 분포형 엔티티 표현으로 대체한다.
• 의도와 의미적 관련성에 기반한 수작업 규칙을 통해 인간이 이해할 수 있는 마스크를 생성한다.
• 캡션 생성 중에 선택된 엔티티에 대해 동적으로 주의 가중치를 할당함으로써, 원하는 시각적 객체에 집중된 주의를 보장한다.
• 마스크를 엔티티 특징에 대한 학습 가능한 소프트 게이팅 메커니즘으로 통합함으로써, 엔드 투 엔드 미분 가능성을 유지한다.
• 마스크는 엔티티 특징에 대한 소프트 주의를 적용하여 캡션을 생성하며, 마스크는 객체 선택을 위한 제어 메커니즘으로 기능한다.
• 모델은 MSCOCO에서 표준 평가 지표(예: BLEU, ROUGE, 다양성 측정치(어휘 크기, 신규 유니그램/바이그램))를 사용하여 평가된다.

실험 결과

연구 질문

• RQ1 규칙 기반 엔티티 마스킹은 객체 선택을 명시적이고 인간이 이해할 수 있도록 함으로써 이미지 캡션 모델의 해석 가능성을 향상시킬 수 있는가?
• RQ2 국소적 객체를 지식 그래프 엔티티에 기반하여 정렬할 경우, 원시 시각적 특징에 비해 더 나은 캡션 품질과 정확한 객체 할당이 이루어지는가?
• RQ3 마스킹을 통한 해석 가능성은 적대적 또는 오토인코딩 학습 기법 없이도 캡션 다양성을 향상시킬 수 있는가?
• RQ4 마스크는 기준 모델이 잘못된 또는 관련 없는 시각적 객체에 주의를 기울이는 오류를 어느 정도 수정할 수 있는가?

주요 결과

• Interpret-IC는 신규 캡션(NC) 지표에서 51.54점의 점수를 기록하여 기준 모델(36.23점)을 크게 앞서며, 적대적 다양성 기반 모델(68.62점)의 성능에 가까워졌다.
• 모델은 어휘 위치별로 더 높은 고유 유니그램 및 바이그램 다양성을 보였으며, 이는 더 다양한 더 반복적이지 않은 캡션 생성을 의미한다.
• Interpret-IC는 기준 모델이 잘못된 객체에 주의를 기울이는 오류를 수정하여, 잘못 분류된 엔티티에 대해 낮은 가중치를 할당함으로써 '양치기'가 아니라 '오리'에 주의를 기울이도록 했다.
• 마스크는 두드러지게 두드러진 및 관련성이 높은 엔티티에 더 높은 주의 가중치를 할당함으로써 객체 커버리지를 향상시켰으며, 이는 더 정확하고 정보가 풍부한 캡션을 생성하는 데 기여했다.
• 다양성 학습을 위해 훈련되지 않았음에도 불구하고, Interpret-IC는 862의 어휘 크기(VS)를 기록하여 기준 모델(443)을 초월하여 어휘 다양성이 향상됨을 보였다.
• 모델은 BLEU 및 ROUGE와 같은 표준 지표에서 뛰어난 성능을 유지하여, 해석 가능성의 향상이 캡션 품질을 손상시키지 않음을 확인했다.