[논문 리뷰] Don't Just Listen, Use Your Imagination: Leveraging Visual Common Sense for Non-Visual Tasks

Xiao Lin, Devi Parikh|arXiv (Cornell University)|2015. 02. 21.

Multimodal Machine Learning Applications참고 문헌 39인용 수 26

한 줄 요약

이 논문은 텍스트 기반의 시각적 공통 지식—이미지에서 유도된 의미적 지식—을 시각적 상상력을 통해 활용하여 비시각적 자연어처리(NLP) 과제, 예를 들어 빈칸 채우기(FITB)와 시각적 동의어 표현(visual paraphrasing, VP)의 성능을 향상시키는 것을 제안한다. 텍스트에서 추상적인 일러스트 스타일의 장면을 생성하고, 텍스트 및 상상된 시각적 특징을 함께 추론함으로써, 모델은 텍스트 전용 기준 모델을 능가하며, FITB에서 95.55%의 정확도와 VP에서 95.08%의 정확도를 달성했으며, 이는 VP 과제에서 인간 평균을 초월하는 성능 향상을 이룬다.

ABSTRACT

Artificial agents today can answer factual questions. But they fall short on questions that require common sense reasoning. Perhaps this is because most existing common sense databases rely on text to learn and represent knowledge. But much of common sense knowledge is unwritten - partly because it tends not to be interesting enough to talk about, and partly because some common sense is unnatural to articulate in text. While unwritten, it is not unseen. In this paper we leverage semantic common sense knowledge learned from images - i.e. visual common sense - in two textual tasks: fill-in-the-blank and visual paraphrasing. We propose to "imagine" the scene behind the text, and leverage visual cues from the "imagined" scenes in addition to textual cues while answering these questions. We imagine the scenes as a visual abstraction. Our approach outperforms a strong text-only baseline on these tasks. Our proposed tasks can serve as benchmarks to quantitatively evaluate progress in solving tasks that go "beyond recognition". Our code and datasets are publicly available.

연구 동기 및 목표

• 비시각적, 암묵적인 시각적 공통 지식을 포괄하지 못하는 텍스트 기반 공통 지식 기반의 한계를 해결하기 위해.
• 이미지에서 학습한 시각적 공통 지식—즉, 시각적 지식—이 순수 텍스트 추론 과제에서 성능 향상에 기여할 수 있는지 탐색하기 위해.
• 빈칸 채우기(FITB)와 시각적 동의어 표현(VP)을 포함한 두 가지 새로운 벤치마크를 도입하여, 상상력과 시각적 공통 지식이 요구되는 과제를 만들기 위해.
• 상상된 시각적 장면을 생성하고 추론함으로써 텍스트 전용 모델을 뛰어넘는 추론 성능 향상이 가능함을 보여주기 위해.

제안 방법

• FITB 과제의 각 후보 선택지를 위해, 텍스트가 장면 생성을 이끄는 바탕이 되는 추상적인 일러스트 스타일의 장면을 생성한다.
• 텍스트와 상상된 시각적 장면을 함께 고려하는 통합 텍스트-시각 모델을 사용하여 가장 타당한 선택지를 선정한다.
• 시각적 동의어 표현 과제에서는 각 두 기술 설명에 대해 장면을 생성하고, 두 장면이 동일한 기반 장면을 묘사하는지 분류한다.
• 세 가지 시각적 특징 유형—객체 존재, 속성, 공간적 구성—을 통해 시각적 공통 지식을 통합한다.
• 조건부 랜덤 필드 유사 점수 함수를 사용하여 텍스트 및 시각적 특징을 융합하는 통합 추론 모델을 훈련한다.
• 텍스트에 명시적으로 언급된 객체 외에도 추가 객체를 추론하여 장면의 타당성을 향상시키는 장면 생성 모델을 사용한다.

실험 결과

연구 질문

• RQ1 이미지에서 파생된 시각적 공통 지식이 순수 텍스트 추론 과제의 성능 향상에 기여할 수 있는가?
• RQ2 빈칸 채우기 및 시각적 동의어 표현과 같은 과제에서 시각적 장면을 상상함으로써 추론 능력이 얼마나 향상되는가?
• RQ3 다른 시각적 특징—존재, 속성, 공간적 구성—은 성능 향상에 어떻게 기여하는가?
• RQ4 시각적 입력이 명시적으로 없는 과제에서도 시각 기반 모델이 텍스트 전용 모델을 능가할 수 있는가?
• RQ5 높은 인간 일치도를 보이는 질문에서 시각적 공통 지식의 성능 향상이 더 크게 나타나는가—이는 더 복잡한 추론을 돕기 때문인가?

주요 결과

• 제안된 방법은 FITB 과제에서 95.55%의 정확도를 달성하여 텍스트 전용 기준 모델보다 3.5%포인트 높은 성능을 보였다.
• 시각적 동의어 표현 과제에서는 95.08%의 정확도를 기록하여 인간 평균인 94.78%를 초월했으며, 텍스트 전용 기준 모델을 능가했다.
• 시각적 특징의 포함으로 모든 카테고리에서 성능 향상이 이루어졌으며, 특히 객체 존재 특징이 가장 큰 기여를 하였고, 0.93%의 성능 향상을 기록했다.
• 공간적 구성 특징은 VP 과제에서 0.60%의 성능 향상 기여를 하였으며, 이는 관계 기반 시각적 지식이 의미 유사성 과제에 유용하다는 것을 시사한다.
• 높은 일치도 질문에서 성능 향상이 더 두드러졌으며, 기준 모델 대비 3%에서 6%로 성능 향상이 증가하여, 시각적 상상력이 복잡한 추론을 보조한다는 것을 시사한다.
• 명시적으로 언급된 객체만 포함하는 단순한 장면 생성기 역시 95.01%의 성능을 기록하여, 암시된 시각적 장면을 추론함으로써 추가적인 가치가 있음을 보여주었다.