[논문 리뷰] Task-driven Visual Saliency and Attention-based Visual Question Answering

Yuetan Lin, Zhangyang Pang외 2명|arXiv (Cornell University)|2017. 02. 22.

Multimodal Machine Learning Applications참고 문헌 32인용 수 22

한 줄 요약

이 논문은 시각질의 질문 응답(VQA)을 위한 작업 기반 시각적 주목 메커니즘과 새로운 원소별 곱셈 기반의 주목 방법을 제안한다. 상호 관련된 이미지 영역 간의 관계를 기반으로 이원방향 LSTM(BiLSTM)을 활용해 영역별 주목 가중치를 계산하고, 원소별 곱셈을 사용해 시각적 및 텍스트적 특징을 융합함으로써 COCO-VQA에서 최신 기술 수준의 성능을 달성한다. 다중 선택 과제에서 63.69%의 정확도와 개방형 과제에서 56.02%의 정확도를 기록하며, 여러 주목 기반 기준 모델을 능가한다.

ABSTRACT

Visual question answering (VQA) has witnessed great progress since May, 2015 as a classic problem unifying visual and textual data into a system. Many enlightening VQA works explore deep into the image and question encodings and fusing methods, of which attention is the most effective and infusive mechanism. Current attention based methods focus on adequate fusion of visual and textual features, but lack the attention to where people focus to ask questions about the image. Traditional attention based methods attach a single value to the feature at each spatial location, which losses many useful information. To remedy these problems, we propose a general method to perform saliency-like pre-selection on overlapped region features by the interrelation of bidirectional LSTM (BiLSTM), and use a novel element-wise multiplication based attention method to capture more competent correlation information between visual and textual features. We conduct experiments on the large-scale COCO-VQA dataset and analyze the effectiveness of our model demonstrated by strong empirical results.

연구 동기 및 목표

• 기존 VQA 모델에서 질문을 던질 때 인간이 집중하는 영역에 대한 주목이 부족한 문제를 해결하기 위해.
• 작업에 특화된 관심 패턴을 기반으로 주목할 만한 이미지 영역을 사전 선택하여 VQA 성능을 향상시키기 위해.
• 새로운 원소별 곱셈 기반 주목 메커니즘을 사용해 시각적 및 언어적 모odal 간의 특징 융합을 향상시키기 위해.
• 영역 사전 선택과 정교화된 주목 메커니즘이 복잡한 아키텍처 없이도 VQA 정확도를 크게 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 영역 특징 간의 상호관계를 모델링하기 위해 이원방향 LSTM(BiLSTM)을 사용해 영역 중요도를 계산하는 작업 기반 시각적 주목 메커니즘을 제안한다.
• BiLSTM을 사용해 이미지 영역 간의 공간적 관계를 인코딩하고, 질문을 던지는 데 있어 주목할 만한 영역을 강조하는 주목 가중치를 생성한다.
• 기존의 연결 또는 표준 주목 방식보다 더 효과적으로 시각적 및 텍스트적 특징을 융합하는 원소별 곱셈 기반 주목 메커니즘을 도입한다.
• 시각적 및 텍스트적 특징의 원소별 곱셈 결과에 대해 최대 풀링을 적용하여 답변 예측을 위한 압축되고 풍부한 표현력을 가진 융합 벡터를 생성한다.
• 복잡한 다단계 주목 레이어가 필요 없이도 효과적인 VQA 기준 모델을 제안된 사전 선택 및 주목 메커니즘으로 개선한다.
• 계산 효율성을 위해 3×3 영역 격자를 사용하지만, 작은 물체를 포착하는 데에는 한계가 있음을 인정한다.

실험 결과

연구 질문

• RQ1 어떻게 VQA 모델이 질문을 던지는 데 집중할 가능성이 있는 영역을 식별함으로써 인간의 시각적 주목을 더 잘 모방할 수 있는가?
• RQ2 BiLSTM 기반 메커니즘이 영역 간의 상호의존성을 효과적으로 모델링하여 작업에 특화된 주목 맵을 생성할 수 있는가?
• RQ3 원소별 곱셈 방식이 VQA에서 연결 또는 표준 주목 방식보다 더 나은 융합을 이끌 수 있는가?
• RQ4 주목할 만한 영역을 사전 선택하면 다중 선택 및 개방형 질문에서 VQA 성능이 얼마나 향상되는가?

주요 결과

• 제안된 모델은 COCO-VQA 테스트-디브 세트에서 다중 선택 과제에서 63.69%의 정확도, 개방형 과제에서 56.02%의 정확도를 기록하며, 여러 최신 기술 수준의 모델을 능가한다.
• 테스트-스탠다드 세트에서는 다중 선택 과제에서 63.99%의 정확도, 개방형 과제에서 56.42%의 정확도를 기록하여 강력한 일반화 능력을 보였다.
• 특히 '기타' 답변 유형에서 뛰어난 성능을 보였는데, 이는 물체 및 경관 인식에 유리한 것으로 나타나 주목할 만한 영역 탐지 기능이 효과적으로 작동했음을 시사한다.
• 시각화 결과는 사전 선택 메커니즘이 의미적으로 관련된 영역(예: 사람, 관심 있는 물체)을 강조함을 확인했으며, 주목 맵이 질문의 의미와 일치함을 확인했다(예: 기상 관련 질문에서는 옷에 집중함).
• 이 방법은 일반화 가능하며, 다른 주목 기반 VQA 모델에 통합되어 성능 향상에 기여할 수 있다.
• 기존 모델들이 사용하는 100개 이하 또는 14×14의 영역보다 적은 3×3 영역 특징만을 사용함에도 불구하고 경쟁 가능한 성능을 달성하여 효율성과 효과성을 입증했다.