[논문 리뷰] VQS: Linking Segmentations to Questions and Answers for Supervised Attention in VQA and Question-Focused Semantic Segmentation

Chuang Gan, Yandong Li외 3명|arXiv (Cornell University)|2017. 08. 15.

Multimodal Machine Learning Applications참고 문헌 42인용 수 26

한 줄 요약

이 논문은 COCO 인스턴스 세그멘테이션을 VQA 질문과 답변과 연결하여 감독된 주의(multi-layer perceptrons에 세그멘테이션-감독 주의 특징을 통합하여) VQA 실다중선택 벤치마크에서 최신 기술 성능(SOTA)을 달성하고, 질문 중심의 의미 세그멘테이션(QFSS)이라는 새로운 작업을 제안한다. 세그멘테이션-QA 연결을 명시적 감독으로 활용함으로써, 주의 학습 향상이 가능하다. 이는 마스크 집합화와 DeconvNet 기반 모델을 사용한 QFSS의 실현 가능성을 입증한다.

ABSTRACT

Rich and dense human labeled datasets are among the main enabling factors for the recent advance on vision-language understanding. Many seemingly distant annotations (e.g., semantic segmentation and visual question answering (VQA)) are inherently connected in that they reveal different levels and perspectives of human understandings about the same visual scenes --- and even the same set of images (e.g., of COCO). The popularity of COCO correlates those annotations and tasks. Explicitly linking them up may significantly benefit both individual tasks and the unified vision and language modeling. We present the preliminary work of linking the instance segmentations provided by COCO to the questions and answers (QAs) in the VQA dataset, and name the collected links visual questions and segmentation answers (VQS). They transfer human supervision between the previously separate tasks, offer more effective leverage to existing problems, and also open the door for new research problems and models. We study two applications of the VQS data in this paper: supervised attention for VQA and a novel question-focused semantic segmentation task. For the former, we obtain state-of-the-art results on the VQA real multiple-choice task by simply augmenting the multilayer perceptrons with some attention features that are learned using the segmentation-QA links as explicit supervision. To put the latter in perspective, we study two plausible methods and compare them to an oracle method assuming that the instance segmentations are given at the test stage.

연구 동기 및 목표

• COCO 내 질문-답변 쌍에 인스턴스 세그멘테이션을 명시적으로 연결하여 의미 세그멘테이션과 시각질의응답(VQA) 간 격차를 해소한다.
• 세그멘테이션-QA 연결을 주의 메커니즘의 감독으로 사용하여 VQA에서 감독된 주의를 가능하게 한다.
• 질문 중심 의미 세그멘테이션(QFSS)이라는 새로운 작업을 제안하고 평가하며, 주어진 질문에 시각적으로 답하는 세그멘테이션을 생성하는 모델을 개발한다.
• 질문 표현 방식(워드 임베딩 대비 워드백오브워즈)이 QFSS 성능에 미치는 영향을 탐색한다.
• 기존에 별개의 작업으로 간주되던 작업 간 인간 감독을 이식함으로써 새로운 시각어휘 이해 벤치마크를 설정한다.

제안 방법

• COCO 이미지에 인스턴스 세그멘테이션을 해당 VQA 질문과 답변에 연결하여 VQS 데이터셋을 구축한다.
• VQS 연결을 활용해 세그멘테이션 마스크를 감독으로 사용하는 주의 특징을 갖춘 VQA 모델을 훈련시켜 주의 국소화를 향상시킨다.
• 질문 맥락에 기반해 세그멘테이션 마스크를 생성하기 위해 마스크 집합화와 DeconvNet을 사용하는 질문 중심 의미 세그멘테이션(QFSS) 프레임워크를 구현한다.
• 예측된 세그멘테이션 마스크와 진짜 마스크 간의 L2 손실을 사용해 DeconvNet 기반 모델을 훈련시키며, 질문 조건부 주의를 적용한다.
• 두 가지 질문 표현 방식(워드 임베딩과 워드백오브워즈 특징)을 비교하여 QFSS 성능에 미치는 영향을 평가한다.
• 시험 시기에 진짜 세그멘테이션 마스크가 제공된다는 가정하에 오라클 방법을 사용하여 QFSS의 상한선을 설정한다.

실험 결과

연구 질문

• RQ1 인스턴스 세그멘테이션을 VQA 질문에 연결함으로써 시각질의응답(VQA)에서 주의 감독을 향상시킬 수 있는가?
• RQ2 VQS 데이터셋은 VQA 실다중선택 벤치마크에서 최신 기술 성능을 달성하는 데 얼마나 효과적인가?
• RQ3 세그멘테이션-QA 연결을 활용하여 질문 중심 의미 세그멘테이션(QFSS) 작업을 효과적으로 설정하고 평가할 수 있는가?
• RQ4 다른 질문 표현 방식(워드 임베딩 대비 워드백오브워즈)은 QFSS 성능에 어떤 영향을 미치는가?
• RQ5 제안된 QFSS 방법과 시험 시기에 완벽한 인스턴스 세그멘테이션 마스크가 제공된다는 오라클 방법 간의 성능 격차는 얼마인가?

주요 결과

• VQS 기반 감독 주의 접근법은 다층퍼셉트론에 세그멘테이션-감독 주의 특징를 통합함으로써 VQA 실다중선택 벤치마크에서 최신 기술 성능을 달성한다.
• QFSS의 마스크 집합화 방법은 기본 DeconvNet보다 성능이 뛰어나지만 여전히 오라클 상한선에 크게 뒤져 있어 향상 여지가 있음을 시사한다.
• 평균적으로 한 질문당 하나 이상의 세그멘테이션 마스크가 선택되며, 이는 질문이 종종 여러 시각적 실체를 필요로 하여 완전한 답변이 가능함을 의미한다.
• 워드백오브워즈와 워드 임베딩 표현 방식 간 성능 차이가 뚜렷하게 나타나, QFSS 성능이 질문 인코딩 전략에 민감함을 시사한다.
• 정성적 결과로, '몇 개인가?'와 같은 질문에 대해 다수의 객체를 세야 하는 경우, 모델이 여러 관련 세그멘테이션을 정확히 식별하는 것으로 나타났다.
• VQS 데이터셋은 의미 세그멘테이션과 VQA 간 인간 감독의 효과적 이식을 가능하게 하여, 동일한 이미지 세트에 대한 다양한 주석 간 연결의 가치를 입증한다.