[논문 리뷰] Comprehension-guided referring expressions

Ruotian Luo, Gregory Shakhnarovich|arXiv (Cornell University)|2017. 01. 12.

Multimodal Machine Learning Applications참고 문헌 24인용 수 16

한 줄 요약

이 논문은 사전 훈련된 이해 모델을 훈련 신호 또는 재정렬 기준으로 활용하여 고품질의 참조 표현을 생성하는 새로운 프레임워크를 제안한다. 훈련 중에는 미분 가능한 대체 손실을 통해, 추론 시에는 생성-다시정렬 전략을 통해 이해 모델이 생성 과정을 지도함으로써 유창성과 참조 정확도가 크게 향상되며, RefCOCO 및 RefCOCO+에서 자동 평가와 인간 평가 모두에서 베이스라인을 능가한다.

ABSTRACT

We consider generation and comprehension of natural language referring expression for objects in an image. Unlike generic "image captioning" which lacks natural standard evaluation criteria, quality of a referring expression may be measured by the receiver's ability to correctly infer which object is being described. Following this intuition, we propose two approaches to utilize models trained for comprehension task to generate better expressions. First, we use a comprehension module trained on human-generated expressions, as a "critic" of referring expression generator. The comprehension module serves as a differentiable proxy of human evaluation, providing training signal to the generation module. Second, we use the comprehension module in a generate-and-rerank pipeline, which chooses from candidate expressions generated by a model according to their performance on the comprehension task. We show that both approaches lead to improved referring expression generation on multiple benchmark datasets.

연구 동기 및 목표

• 사전 훈련된 이해 모델을 훈련 신호 또는 추론 기준으로 삼아 참조 표현 생성을 향상시키기.
• 사람의 이해를 대체 지표로 삼는 참조 정확도에 초점을 맞춰 이미지 기술 분야에서 신뢰할 수 있는 평가 지표의 부족 문제를 해결하기.
• GAN 방식의 훈련 불안정성을 피하면서도 분류 피드백을 효과적으로 활용하는 협업형 훈련 프레임워크 개발하기.
• 표준 베이스라인에서 사전 훈련된 이해 모델을 훈련 시점과 추론 시점에 모두 통합했을 때의 효과를 평가하기.

제안 방법

• 사용자 애너테이션 기반의 참조 표현 데이터셋을 바탕으로 별도의 이해 모델을 훈련하여, 주어진 표현에 대해 올바른 이미지 영역을 예측하도록 한다.
• 훈련 중에 훈련된 이해 모델을 미분 가능한 대체 손실로 활용하여, 생성기의 출력이 이해하기 쉬운 표현이 되도록 유도하는 분류 손실을 제공한다.
• 교차 엔트로피 손실과 이해 기반 손실을 조합하여 생성기를 공동 최적화하는 '대체를 통한 훈련' 방법을 구현한다.
• 추론 시 다수의 후보 표현을 생성하고, 가장 높은 이해 점수를 기록한 표현을 선택하는 '생성-다시정렬' 전략을 적용한다.
• 이해 모델을 입력 표현에 대해 미분 가능하도록 수정하여 생성기의 순환 역전파를 가능하게 한다.
• 최적화의 안정성을 높이기 위해 복합 손실, 수정된 스케줄링 샘플링, 확률적 혼합 증분 교차 엔트로피와 같은 다양한 훈련 전략을 탐색한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 이해 모델이 더 이해하기 쉬운 참조 표현 생성을 효과적으로 이끌 수 있는가?
• RQ2 훈련 중에 이해 피드백을 통합하면 표준 자동 회귀 훈련보다 더 우수한 일반화 성능을 달성할 수 있는가?
• RQ3 이해 점수 기반 생성-다시정렬 추론 방식은 대체 손실을 통한 엔드 투 엔드 훈련보다 어떻게 다를까?
• RQ4 성능이 다양한 테스트 분할(예: RefCOCO+ TestA vs. TestB) 간에 어떻게 달라지는가? 그 원인은 무엇인가?
• RQ5 다양한 훈련 목표(예: 복합 손실, SMIXEC)가 다양한 데이터셋에서 일관된 향상을 이끌 수 있는가?

주요 결과

• 생성-다시정렬 방법은 RefCOCO TestB에서 인간 평가 정확도 75%를 기록하여, 베이스라인 MMI 방법(61%)을 크게 앞서며 최고 성능을 보였다.
• RefCOCO에서 SMIXEC 대체 훈련 방법은 68%의 이해 정확도를 달성하여, 베이스라인 MMI 방법(61%)을 초월했으며, 더 우수한 유창성 지표도 확보했다.
• 생성-다시정렬 접근법은 모든 베이스라인 대비 더 높은 BLEU 및 CIDEr 점수를 기록하여, 더 우수한 유창성과 다양성을 보였다.
• 인간 평가 결과, 제안된 두 방법(SMIXEC 및 Rerank) 모두 베이스라인 MMI 모델보다 더 정보가 풍부하고 정확한 참조 표현을 생성하는 것으로 확인되었다.
• RefCOCO+에서 SMIXEC 방법은 TestA에서 46%의 인간 정확도를 기록했고, Rerank 방법은 TestB에서 47%를 기록하여, 다양한 테스트 분할 간에도 뛰어난 일반화 능력을 입증했다.
• 생성-다시정렬 방법은 단순 샘플링 기반 베이스라인(MLE+sample)보다 뛰어난 성능을 보여, 이해 기반 재정렬이 샘플링만으로는 달성할 수 없는 가치를 제공한다는 점을 입증했다.