[논문 리뷰] Skeleton Key: Image Captioning by Skeleton-Attribute Decomposition

Yufei Wang, Zhe Lin외 3명|arXiv (Cornell University)|2017. 04. 23.

Multimodal Machine Learning Applications참고 문헌 46인용 수 16

한 줄 요약

이 논문은 이미지 캡션 생성 프레임워크를 제안하며, 설명을 뼈대 문장(객체와 관계)과 특성 어간(세부 성질)으로 분해하여 주의 메커니즘을 사용해 별도로 생성한다. 이 방법은 MS-COCO와 Stock3M에서 최신 기준 성능을 달성하며, 특히 인간 평가와 관련성이 높은 SPICE 지표에서 뛰어난 성능을 보이며, 뼈대와 특성 길이를 별도로 제어하여 가변 길이 캡션 생성이 가능하다.

ABSTRACT

Recently, there has been a lot of interest in automatically generating descriptions for an image. Most existing language-model based approaches for this task learn to generate an image description word by word in its original word order. However, for humans, it is more natural to locate the objects and their relationships first, and then elaborate on each object, describing notable attributes. We present a coarse-to-fine method that decomposes the original image description into a skeleton sentence and its attributes, and generates the skeleton sentence and attribute phrases separately. By this decomposition, our method can generate more accurate and novel descriptions than the previous state-of-the-art. Experimental results on the MS-COCO and a larger scale Stock3M datasets show that our algorithm yields consistent improvements across different evaluation metrics, especially on the SPICE metric, which has much higher correlation with human ratings than the conventional metrics. Furthermore, our algorithm can generate descriptions with varied length, benefiting from the separate control of the skeleton and attributes. This enables image description generation that better accommodates user preferences.

연구 동기 및 목표

• 자기회귀적 캡션 생성 모델의 한계를 해결하기 위해, 훈련 데이터를 그대로 반복하거나 새로운 특성-객체 조합을 다루기 어려운 문제를 해결하기 위해.
• 핵심 시나리오 구조(뼈대)의 생성과 세부 특성 기술을 분리함으로써 캡션의 다양성과 정확도를 향상시키기 위해.
• 뼈대와 특성 생성을 별도로 제어함으로써 사용자 맞춤형 캡션 길이를 가능하게 하기 위해.
• 기존 지표보다 인간 평가와 더 밀접한 관련이 있는 SPICE 지표에서 성능 향상을 위해.

제안 방법

• 모델은 이중 단계 프로세스를 사용한다: 첫 번째 단계에서 주의 메커니즘을 갖춘 인코더-디코더를 사용해 주요 객체와 그들의 관계를 기술하는 뼈대 문장을 생성한다.
• 두 번째 단계에서 뼈대에 있는 각 객체를 다시 방문하여 별도의 Attr-LSTM과 개선된 주의(후행 단어 α)를 사용해 관련 특성을 생성한다.
• 인지 신경과학에 영감을 얻은 굵기에서 세밀함으로의 생성 전략을 사용하며, 상향식 객체 인식과 객체 기반 주의 메커니즘을 모방한다.
• 뼈대와 특성에 대해 별도의 길이 요소를 사용하는 길이 제어 메커니즘을 도입하여, 사용자 맞춤형으로도 조절 가능한 영구적인 캡션 생성을 가능하게 한다.
• 특성 예측을 위한 주의 맵을 향상시키기 위해 후행 단어 α 주의 보정을 사용하여, 색상, 크기 등 특정 특성의 정확도를 향상시킨다.
• 모델은 MS-COCO와 Stock3M에서 엔드 투 엔드로 훈련되며, 평가에는 SPICE, BLEU, ROUGE, METEOR 지표를 사용한다.

실험 결과

연구 질문

• RQ1 캡션 생성을 뼈대와 특성 단계로 분리하면 캡션 품질과 다양성이 향상되는가?
• RQ2 굵기에서 세밀함으로의 분해 전략이 인간 평가와 더 밀접한 관련이 있는 SPICE 지표에서 더 높은 성능을 내는가?
• RQ3 뼈대와 특성 구성 요소를 별도로 제어함으로써 가변 길이의 캡션을 생성할 수 있는가?
• RQ4 제안된 후행 단어 α 주의 보정이 특성 예측 정확도를 어느 정도 향상시키는가?
• RQ5 훈련 데이터에서 함께 등장하지 않은 특성-객체 조합이 있는 이미지에 대해 더 유일하고 새로운 캡션을 생성할 수 있는가?

주요 결과

• 粗-세밀 모델은 강력한 베이스라인 대비 SPICE 점수를 크게 향상시켜 인간 평가와의 일치도가 높다는 것을 시사한다.
• MS-COCO 테스트 세트에서 뼈대 모델은 고유 캡션 비율을 3% 향상시키고, 새로운 캡션 비율을 8% 향상시켰다.
• 후행 단어 α 주의 보정은 특성 하위 카테고리의 SPICE 점수를 향상시키며, 색상 +0.003, 크기 +0.003, 기수성 +0.004, 질감 +0.001의 개선을 보였다.
• 모델은 영구적인 캡션 길이 제어를 가능하게 하였다: 뼈대와 특성에 대해 별도의 길이 요소를 조정함으로써, 기존 베이스라인 대비 더 다양한 사용자 맞춤형 기술이 가능했다.
• MS-COCO 데이터셋에서 모델은 다양한 지표에서 일관된 향상을 보였으며, 특히 SPICE 지표에서 가장 두드러진 개선을 보였다.
• 정성적 결과에서는, 특히 훈련 데이터에서 함께 등장하지 않은 객체의 특성을 더 정확하고 다양한 방식으로 기술하는 것으로 나타났다.