[논문 리뷰] What You See is What You Get: Visual Pronoun Coreference Resolution in Dialogues

Xintong Yu, Hongming Zhang외 3명|arXiv (Cornell University)|2019. 09. 01.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

이 논문은 대화에서 시각적 관계어 추론(PCR)을 위한 대규모 데이터셋 VisPro를 소개하고, 시각적 정보와 문맥 정보를 동시에 활용하는 시각 인지 모델인 VisCoref를 제안한다. 실험 결과, 시각적 기반 정보를 통합할 경우, 특히 대상이 텍스트에 명시되어 있지 않은 경우에 PCR 성능이 크게 향상됨을 보여준다.

ABSTRACT

Grounding a pronoun to a visual object it refers to requires complex reasoning from various information sources, especially in conversational scenarios. For example, when people in a conversation talk about something all speakers can see, they often directly use pronouns (e.g., it) to refer to it without previous introduction. This fact brings a huge challenge for modern natural language understanding systems, particularly conventional context-based pronoun coreference models. To tackle this challenge, in this paper, we formally define the task of visual-aware pronoun coreference resolution (PCR) and introduce VisPro, a large-scale dialogue PCR dataset, to investigate whether and how the visual information can help resolve pronouns in dialogues. We then propose a novel visual-aware PCR model, VisCoref, for this task and conduct comprehensive experiments and case studies on our dataset. Results demonstrate the importance of the visual information in this PCR case and show the effectiveness of the proposed model.

연구 동기 및 목표

• 공동 시각적 맥락이 이해에 필수적인 대화에서 시각적 관계어 추론(PCR) 작업을 체계화하는 것.
• 이미지 지원 대화에서 PCR에 집중한 첫 번째 대규모 데이터셋인 VisPro를 구축하는 것. 이 데이터셋에는 5,000개의 대화에서 유래한 총 29,722개의 관계어가 포함되어 있다.
• 대화의 언급을 시각적 객체와 정렬하고, 문맥적 특징과 시각적 특징을 융합하여 관계어 추론 성능을 향상시키는 새로운 시각 인지 모델인 VisCoref를 개발하는 것.
• 대화에서 대상이 명시적으로 언급되지 않은 경우에 시각적 정보가 관계어 추론에 얼마나 중요한 역할을 하는지 입증하는 것.

제안 방법

• VisCoref 모델은 이중 스트림 아키텍처를 사용한다. 한 스트림은 BERT를 통해 문맥을 인코딩하고, 다른 스트림은 CNN를 통해 시각적 특징을 처리하여 객체 검출 및 임베딩을 수행한다.
• 학습된 어텐션 메커니즘을 사용해 대화의 명사구와 이미지에서 검출된 객체 간의 다중 모odal 정렬을 수행한다.
• 지연 융합 전략을 통해 문맥적 표현과 시각적 표현을 가중치 합으로 융합하며, 시각적 손실 가중치($\lambda_{vis}$)는 모odal 기여도를 균형 있게 하기 위해 0.4로 조정된다.
• 후보 언급에 대한 교차 엔트로피 손실을 사용해 엔드 투 엔드로 모델을 훈련시키며, 일반화 성능 향상을 위해 음성 샘플링을 적용한다.
• 데이터셋 구축 과정은 VisDial에서 대화를 선별하고, Stanford Parser를 통해 명사구를 추출한 후, 인간 평가자가 관계어를 시각적 객체에 연결하도록 한다.
• 후처리 단계에서는 후보 언급 간 중복을 방지하고 문법적 제약 조건을 활용해 애너테이션의 일관성을 확보한다.

실험 결과

연구 질문

• RQ1 대화에서 대상이 텍스트에 언급되지 않은 경우, 시각적 정보가 관계어 추론 성능을 상당히 향상시킬 수 있는가?
• RQ2 시각적 정보와 문맥적 정보의 융합이 대화 설정에서 관계어 추론 모델의 성능에 어떤 영향을 미치는가?
• RQ3 다수의 후보가 존재할 경우, 시각적 기반 정보가 '그것'이나 '그들'과 같은 모호한 관계어를 어떻게 해소하는가?
• RQ4 제안된 VisCoref 모델이 기존의 문맥 중심 모델보다 시각적 PCR에서 얼마나 뛰어난 성능을 보이는가?
• RQ5 인간 평가자가 제공한 시각적 참조와 모델 예측 간의 일치 정확도와 일관성은 어떻게 비교되는가?

주요 결과

• VisCoref 모델은 문맥 중심 기준 모델 대비 F1 스코어에서 뚜렷한 향상을 보이며, 모호한 관계어를 해소하는 데 있어 시각적 기반 정보의 효과성을 입증한다.
• 사례 연구 결과, VisCoref는 대화에 등장하지 않은 대상, 예를 들어 텍스트에 언급되지 않은 동상에 '그것'을 정확히 연결하는 등, 시각적 객체로의 관계어 추론을 성공적으로 수행한다.
• 시각적 맥락이 정확한 추론에 필수적인 68%의 경우에서 VisCoref는 엔드 투 엔드 기준 모델을 능가하며, 이는 시각적 정렬의 가치를 입증한다.
• 제거 실험 결과, 특히 어휘적 모호성이 높은 경우에 시각적 특징이 문맥적 특징보다 더 큰 기여를 한다는 것이 확인되었다.
• VisPro 데이터셋은 5,000개의 대화에 걸쳐 총 29,722개의 관계어 애너테이션을 포함하고 있으며, 이 중 38%의 관계어가 대화에서 명시적으로 언급되지 않은 객체를 가리키고 있어, 시각적 기반 정보의 필요성을 입증한다.
• 시각적 신호와 문맥적 신호 간 최적의 균형은 $\lambda_{vis} = 0.4$에서 달성되며, 이는 시각 데이터에 대한 과적합을 방지하면서 성능을 최대화한다.