[논문 리뷰] Modeling Context in Referring Expressions

Licheng Yu, Patrick Poirson외 3명|arXiv (Cornell University)|2016. 07. 31.

Multimodal Machine Learning Applications참고 문헌 39인용 수 54

한 줄 요약

이 논문은 참조 표현 생성(REF) 및 이해를 위한 시각적 비교 기반의 컨텍스트 모델링 방법을 제안하며, 이미지 내 유사한 객체들과의 명시적 비교를 통해 모델 성능을 향상시킨다. 시각적 대비 특징을 통합하고, 동일 카테고리의 모든 객체에 대해 동시 언어 생성을 수행함으로써 모호성을 크게 감소시켜 RefCOCO, RefCOCO+, RefCOCOg 데이터셋에서 최신 기술 수준의 성능을 달성하며 정확도는 향상되고 표현 중복은 감소시킨다.

ABSTRACT

Humans refer to objects in their environments all the time, especially in dialogue with other people. We explore generating and comprehending natural language referring expressions for objects in images. In particular, we focus on incorporating better measures of visual context into referring expression models and find that visual comparison to other objects within an image helps improve performance significantly. We also develop methods to tie the language generation process together, so that we generate expressions for all objects of a particular category jointly. Evaluation on three recent datasets - RefCOCO, RefCOCO+, and RefCOCOg, shows the advantages of our methods for both referring expression generation and comprehension.

연구 동기 및 목표

• 전체 이미지 특징을 초월한 세부적인 시각적 컨텍스트 모델링을 통해 참조 표현 생성 및 이해를 향상시키기 위해.
• 동일한 이미지 내 시각적으로 유사한 객체들과의 비교를 통해 참조 표현의 모호성을 감소시키기 위해.
• 동일 카테고리의 모든 객체에 대한 표현을 함께 모델링하여 언어 생성 품질을 향상시키고 다양성과 상호 보완성을 보장하기 위해.
• 세 가지 벤치마크 데이터셋에서의 종합적 평가를 통해 시각적 비교와 연결된 생성의 효과를 검증하기 위해.
• 이전 모델들이 부족한 컨텍스트 모델링으로 인해 모호하거나 중복된 표현을 생성하는 한계를 해결하기 위해.

제안 방법

• 모델은 타겟 객체와 전체 이미지에서 시각적 특징을 추출하기 위해 CNN을 사용하고, 타겟 객체와 동일 카테고리의 다른 객체들 사이의 시각적 차이를 계산한다.
• 시각적 비교 모듈은 타겟 객체를 장면 내 유사한 객체들과 비교하여 구분 가능한 특성 속성을 포착하는 'visdif' 특징 벡터를 계산한다.
• 언어 생성 네트워크는 타겟 객체, 전체 이미지, 그리고 visdif 벡터의 입력 특징을 사용하는 LSTM을 활용하여 맥락적으로 정확한 참조 표현을 생성한다.
• 연결된 생성 메커니즘은 동일 카테고리의 다수 객체에 대한 표현을 동시에 생성함으로써 다양성을 증진하고 중복을 줄인다.
• 엔드 투 엔드 백프로파게이션을 사용하여 참조 표현 생성 및 이해를 동시에 공동으로 훈련한다.
• 생성 품질 향상과 모호성 감소를 위해 최소 상호정보량(MMI) 목적함수를 도입한다.

실험 결과

연구 질문

• RQ1 객체 간의 시각적 비교를 통합할 경우 참조 표현 생성 및 이해에 어떤 영향을 미치는가?
• RQ2 동일 카테고리의 다수 객체에 대한 표현을 동시에 생성할 경우 모호성을 줄이고 성능을 향상시킬 수 있는가?
• RQ3 visdif 기반의 시각적 컨텍스트 모델링이 전역 이미지 컨텍스트 특징보다 더 모호하지 않은 참조 표현 생성에 뛰어난가?
• RQ4 BLEU 및 ROUGE와 같은 자동 평가 지표는 참조 표현 품질에 대한 인간 평가와 얼마나 관련이 있는가?
• RQ5 연결된 생성 방식이 동일 이미지 내 객체들 간의 중복 표현 수를 얼마나 줄일 수 있는가?

주요 결과

• 연결된 생성을 통한 'visdif' 모델은 RefCOCO Test B에서 인간 평가 정확도 76.31%를 기록하여 베이스라인을 크게 앞서며 최고 성능을 달성했다.
• RefCOCO Test B에서 'visdif+MMI+tie' 모델은 중복 표현 비율을 4.53%로 낮춰 모든 방법 중에서 가장 낮은 비율을 기록하여 표현 다양성 향상을 입증했다.
• 인간 평가 결과, MMI 및 연결된 생성을 통한 모델이 자동 평가 지표가 반영하지 못한 성능 향상을 보였으며, 'visdif+MMI+tie' 모델은 RefCOCO Test B에서 76.31%의 정확도를 기록했다.
• RefCOCO에서 'visdif' 모델은 BLEU-1과 ROUGE 점수를 각각 최대 0.045와 0.016 향상시켜 베이스라인 대비 향상된 성능을 보였다.
• RefCOCOg에서 'visdif' 모델은 BLEU-1 점수 0.442와 ROUGE 0.370를 기록하여 베이스라인 및 MMI 베이스라인을 모두 초월했다.
• 시각적 비교와 연결된 생성의 조합은 기존 방법 대비 표현 중복을 최대 50%까지 감소시켜 더 높은 의미적 다양성 향상을 입증했다.