[논문 리뷰] Speaking the Same Language: Matching Machine to Human Captions by Adversarial Training

Rakshith Shetty, Marcus Rohrbach외 3명|arXiv (Cornell University)|2017. 03. 30.

Multimodal Machine Learning Applications참고 문헌 44인용 수 32

한 줄 요약

이 논문은 이미지 설명 생성을 위한 적대적 훈련 프레임워크를 제안하며, 지도 학습된 참조 문장의 기억을 방지하고 인간이 작성한 문장의 통계적 분포를 일치시킴으로써 다양하고 인간다운 문장을 생성하도록 생성자 모델을 훈련시킨다. Gumbel-softmax 재구성과 동시에 여러 문장을 평가하는 판별자 모델을 사용함으로써, 상태기준 성능을 유지하면서도 문장 다양성과 인간의 문장 통계 분포와의 일치도가 크게 향상되었으며, 이는 일반화 능력 향상과 모드 붕괴 감소를 보여준다.

ABSTRACT

While strong progress has been made in image captioning over the last years, machine and human captions are still quite distinct. A closer look reveals that this is due to the deficiencies in the generated word distribution, vocabulary size, and strong bias in the generators towards frequent captions. Furthermore, humans -- rightfully so -- generate multiple, diverse captions, due to the inherent ambiguity in the captioning task which is not considered in today's systems. To address these challenges, we change the training objective of the caption generator from reproducing groundtruth captions to generating a set of captions that is indistinguishable from human generated captions. Instead of handcrafting such a learning target, we employ adversarial training in combination with an approximate Gumbel sampler to implicitly match the generated distribution to the human one. While our method achieves comparable performance to the state-of-the-art in terms of the correctness of the captions, we generate a set of diverse captions, that are significantly less biased and match the word statistics better in several aspects.

연구 동기 및 목표

• 이미지 설명 생성에서 기계가 생성한 문장과 인간이 작성한 문장 간의 다양성 부족과 분포 불일치 문제를 해결하기 위해.
• 최신 기술 모델이 빈번하고 일반적인 문장에 편향되어 있는 문제를 해결하기 위해, 기존의 참조 문장 재현에서 인간다운 문장 생성으로 훈련 목표를 전환하기 위해.
• 이미지 설명 생성의 본질적 모호성을 명시적으로 모델링하기 위해, 단일 문장이 아닌 각 이미지당 다수의 다양한 문장을 생성하기 위해.
• 동시 다수의 생성된 문장을 평가하는 판별자를 사용한 적대적 훈련을 통해 생성된 문장의 현실성과 다양성을 향상시키기 위해.
• 인간의 문장 통계 분포(일반, 이항, 삼항 어구 포함)를 일치시켜 훈련 데이터의 일부를 암기하는 것을 줄이기 위해.

제안 방법

• 모델은 생성자가 이미지당 다수의 문장을 생성하고, 판별자가 생성된 문장 배치와 실제 인간의 문장을 동시에 평가하는 조건부 GAN 프레임워크를 사용한다.
• 생성자 내 이산 단어 생성 과정을 통해 역전파를 가능하게 하기 위해 근사적인 Gumbel-샘플링 재구성 기법을 사용한다.
• 판별자는 실제 인간의 문장과 생성된 문장을 구분하도록 훈련되며, 생성자는 판별자를 속이도록 최적화된다.
• 훈련 목표에는 훈련 안정화와 모드 붕괴 방지를 위한 특징 일치 손실이 포함되어 있으며, 이는 인간의 문장 통계 분포를 일치시키도록 생성자를 유도한다.
• 다수의 문장은 비트 시프트나 샘플링을 통해 생성되며, 판별자는 전체 문장 집합을 하나의 입력으로 평가함으로써 다양성을 촉진한다.
• 생성자는 적대적 손실과 다양성 증진 목표를 병행하여 훈련되며, ResNet 특징를 통해 더 rich한 시각적 표현을 제공한다.

실험 결과

연구 질문

• RQ1 적대적 훈련이 이미지 설명 생성에 효과적으로 적용되어 더 다양하고 인간다운 문장을 생성할 수 있는가?
• RQ2 참조 문장에 의존하지 않고 인간의 문장 통계 분포를 일치시키기 위해 생성자를 어떻게 훈련시킬 수 있는가?
• RQ3 판별자가 동시에 여러 생성된 문장을 평가함으로써 모드 붕괴를 방지하고 문장 다양성을 향상시킬 수 있는가?
• RQ4 제안된 방법이 훈련 데이터에서 빈번하게 나타나는 문장 조각의 암기 현상을 어느 정도 줄일 수 있는가?
• RQ5 표준 비트 시프트 대비 각 이미지당 더 다양한 문장을 생성하면서도 높은 정확도를 유지할 수 있는가?

주요 결과

• 적대적 모델은 검증 세트에서 메테오 점수 0.236를 기록하여 최신 기술 기준 모델과 유사한 정확도를 유지함을 확인하였다.
• 적대적 모델의 어휘 크기(샘플링 시 2671)는 기준 모델(1085)보다 크게 증가하여 어휘 편향 감소와 희귀어어의 더 나은 커버리지가 가능함을 시사한다.
• 적대적 모델은 72.53%의 비율로 새로운 문장을 생성하는 반면, 비트 시프트 기준 모델은 44.27%에 그쳐 훈련 데이터 문장의 암기 현상이 감소함을 보여준다.
• 그림 7에 나타나 있듯이, 모델의 어휘 크기 분포가 인간의 문장과 모든 어휘 빈도 기준에서 유사하게 나타나, 균형 잡힌 어휘 사용이 가능함을 확인하였다.
• 다양성 지표(-div-2, 어휘 크기, 이미지당 다양성)는 적대적 모델에서 크게 향상되었으며, 특히 판별자가 다섯 개의 문장을 동시에 평가할 경우 두드러진 개선이 관찰되었다.
• 제거 실험 결과, 동시에 여러 문장을 평가하고 특징 일치 손실을 사용하는 것이 모드 붕괴 방지 및 다양성 향상에 필수적임을 확인하였다.