[논문 리뷰] Learning to Evaluate Image Captioning

Yin Cui, Guandao Yang외 3명|arXiv (Cornell University)|2018. 06. 17.

Multimodal Machine Learning Applications참고 문헌 31인용 수 17

한 줄 요약

이 논문은 CNN-LSTM 아키텍처와 이진 분류기를 사용하여 인간이 작성한 문장과 기계가 생성한 문장을 구분하도록 훈련하는 기반 학습 기반의 판별적 거리 측정법을 제안한다. 병리학적 문장 변형을 음성 예시로 활용한 데이터 증강을 통합함으로써, 이 거리 측정법은 인간 평가와 뛰어난 상관관계를 보이며, Flickr 8k 및 COCO 벤치마크에서 CIDEr, METEOR, ROUGE, SPICE를 모두 능가한다.

ABSTRACT

Evaluation metrics for image captioning face two challenges. Firstly, commonly used metrics such as CIDEr, METEOR, ROUGE and BLEU often do not correlate well with human judgments. Secondly, each metric has well known blind spots to pathological caption constructions, and rule-based metrics lack provisions to repair such blind spots once identified. For example, the newly proposed SPICE correlates well with human judgments, but fails to capture the syntactic structure of a sentence. To address these two challenges, we propose a novel learning based discriminative evaluation metric that is directly trained to distinguish between human and machine-generated captions. In addition, we further propose a data augmentation scheme to explicitly incorporate pathological transformations as negative examples during training. The proposed metric is evaluated with three kinds of robustness tests and its correlation with human judgments. Extensive experiments show that the proposed data augmentation scheme not only makes our metric more robust toward several pathological transformations, but also improves its correlation with human judgments. Our metric outperforms other metrics on both caption level human correlation in Flickr 8k and system level human correlation in COCO. The proposed approach could be served as a learning based evaluation metric that is complementary to existing rule-based metrics.

연구 동기 및 목표

• 이미지 문장 생성 평가에서 전통적인 규칙 기반 거리 측정법(예: BLEU, CIDEr, METEOR, ROUGE)이 인간 평가와 빈약한 상관관계를 보이는 문제를 해결한다.
• 반복적이거나 문법적으로 잘못된 문장과 같은 병리학적 문장 구조를 탐지하지 못하는 규칙 기반 거리 측정법의 유연성 부족 문제를 해결한다.
• 인간의 평가 행동을 직접 모델링하는 학습 가능한 평가 거리 측정법을 개발하기 위해, 인간과 기계가 작성한 문장을 구별하는 테스트를 수행하는 분류기를 훈련시킴으로써 터닝 테스트 유사한 구분 능력을 학습한다.
• 데이터 증강을 통해 인위적으로 생성된 병리학적 문장을 음성 학습 예시로 명시적으로 통합함으로써, 거리 측정법의 강건성과 인간 평가와의 상관관계를 향상시킨다.
• 제안된 거리 측정법이 인간 평가와 더 잘 일치할 뿐 아니라, 수동 규칙 업데이트가 필요 없이 새로운 병리학적 사례에 적응할 수 있음을 입증한다.

제안 방법

• 이미지 수준의 특징을 추출하기 위해 CNN을 사용하고, 문장 텍스트 표현을 인코딩하기 위해 LSTM 기반 RNN을 사용하여 판별 모델을 훈련한다.
• 이진 분류기('비평')를 사용하여 주어진 문장이 인간이 작성했는지 기계가 생성했는지 예측함으로써, 인간의 판단을 효과적으로 모방한다.
• 제어된 언어학적 변형(예: 반복, 문법적 왜곡)을 적용하여 인위적인 병리학적 문장을 음성 학습 예시로 생성하는 데이터 증강 기법을 도입한다.
• 실제 인간 문장과 증강된 병리학적 문장을 조합하여 훈련시킴으로써, 드문 또는 악성 문장 구조에 대한 일반화 능력과 강건성을 향상시킨다.
• 기존의 병리학적 변형에 대한 체계적 테스트를 수행하여 거리 측정법의 강건성을 평가하고, 자연스럽지 않거나 반복적인 문장을 어떻게 처벌하는지 측정한다.
• 검증 세트(예: COCO 및 Flickr 8k)에서 이중 교차 검증 전략을 적용하여 일반화 능력이 뛰어나고 데이터 泄漏를 방지한다.

실험 결과

연구 질문

• RQ1 학습 기반 거리 측정법이 전통적인 규칙 기반 거리 측정법보다 인간 평가와의 상관관계에서 더 나은 성능을 보일 수 있는가?
• RQ2 병리학적 문장 변형을 활용한 데이터 증강이 학습 기반 평가 거리 측정법의 강건성과 일반화 능력을 얼마나 향상시킬 수 있는가?
• RQ3 제안된 거리 측정법은 기존의 거리 측정법과 비교해 병리학적 문장 생성 벤치마크(예: COCO 및 Flickr 8k)에서 얼마나 잘 일반화되는가?
• RQ4 기존의 거리 측정법이 식별하지 못하는 문법적 또는 의미적 결함이 있는 문장을 이 거리 측정법이 효과적으로 탐지하고 처벌할 수 있는가?
• RQ5 훈련 중에 볼 수 없었던 악성 또는 자연스럽지 않은 문장 구조에서 평가했을 때, 이 거리 측정법은 높은 성능을 유지하는가?

주요 결과

• Flickr 8k에서 전문가 암시와의 페어슨 상관계수 τ는 0.466을 기록하며, SPICE(0.456)와 기타 모든 규칙 기반 거리 측정법을 능가한다.
• COCO 검증 세트에서 인간 평가(M1)와의 페어슨 상관계수 ρ는 0.939를 기록하며, SPICE(0.759) 및 기타 기준보다 뚜렷이 뛰어나다.
• 데이터 증강을 통해 인간 평가와의 상관계수는 DA 없이 ρ = 0.821에서 DA 적용 시 ρ = 0.939로 향상되어, 악성 훈련 예시의 효과를 입증한다.
• 그림 7에 시각화된 바와 같이, 이 거리 측정법은 높은 품질의 출력을 인간이 선호하는 방식으로 정렬하는 데 강력한 일치를 보이며, 인간의 선호도를 정확히 반영한다.
• 반복 문장이나 문법적 왜곡과 같은 병리학적 변형에 대해 강건하며, 이는 종종 SPICE 및 기타 규칙 기반 거리 측정법을 속이는 요소이다.
• 기존의 수동 규칙 업데이트가 필요 없는 고정 히ュ리스틱을 가진 전통적 거리 측정법과 달리, 새로운 병리학적 사례에 대해 민첩하게 적응할 수 있다.