[논문 리뷰] Structured Attentions for Visual Question Answering

Chen Zhu, Yanpeng Zhao외 3명|arXiv (Cornell University)|2017. 08. 07.

Multimodal Machine Learning Applications참고 문헌 39인용 수 26

한 줄 요약

이 논문은 시각적 질문 응답(VQA)를 위한 구조화된 시각적 주의 메커니즘을 제안하며, 격자 구조의 조건부 랜덤 필드(CRF)를 사용해 이미지 영역 간의 공간 관계를 모델링한다. 평균 장 및 루프가 있는 신뢰도 전파 추론을 미분 가능한 순환층으로 전개함으로써, 컨volutional 신경망(CNN)의 제한된 유효 수신장 외부의 장거리 의존성을 포착할 수 있으며, 이는 기존 방법 대비 CLEVR(+9.5%) 및 VQA(+1.25%)에서 최고 성능을 달성한다.

ABSTRACT

Visual attention, which assigns weights to image regions according to their relevance to a question, is considered as an indispensable part by most Visual Question Answering models. Although the questions may involve complex relations among multiple regions, few attention models can effectively encode such cross-region relations. In this paper, we demonstrate the importance of encoding such relations by showing the limited effective receptive field of ResNet on two datasets, and propose to model the visual attention as a multivariate distribution over a grid-structured Conditional Random Field on image regions. We demonstrate how to convert the iterative inference algorithms, Mean Field and Loopy Belief Propagation, as recurrent layers of an end-to-end neural network. We empirically evaluated our model on 3 datasets, in which it surpasses the best baseline model of the newly released CLEVR dataset by 9.5%, and the best published model on the VQA dataset by 1.25%. Source code is available at https: //github.com/zhuchen03/vqa-sva.

연구 동기 및 목표

• VQA에서 이미지 영역 간의 공간 관계를 포착하는 데에 비구조화된 시각적 주의의 한계를 해결하기 위해.
• 깊은 CNN의 제한된 유효 수신장(ERF)으로 인해 먼 영역 또는 겹치지 않는 영역에 대한 추론이 어려운 문제를 극복하기 위해.
• 교차 영역 간 의존성을 인코딩하기 위해 격자 구조의 CRF 위에 다변량 분포로 주의를 모델링하기 위해.
• 반복적 CRF 추론(Mean Field 및 Loopy Belief Propagation)을 미분 가능한 순환층으로 통합하여 엔드 투 엔드 딥 러닝 프레임워크에 통합하기 위해.
• 어려운 VQA 벤치마크에서 구조화된 주의의 우수성을 경험적으로 검증하기 위해, 특히 공간 관계를 포함한 질문에 대해.

제안 방법

• 각 노드가 이미지 영역을 나타내고 간선이 공간 관계를 인코딩하는 격자 구조의 CRF 위에 다변량 분포로 시각적 주의를 모델링한다.
• CNN 특징에서 유도된 단항 잠재변수와 상호 잠재변수를 사용해 인접한 영역 간의 공간적 맥락을 모델링한다.
• 평균 장 및 루프가 있는 신뢰도 전파(LBP) 알고리즘을 반복적으로 개선하는 순환층으로 전개하여 주의 가중치를 반복적으로 정밀화한다.
• CRF 추론에서 미분 가능한 메시지 전달을 구현하여 반복 단계를 거쳐 역전파를 가능하게 한다.
• 이를 통해 이미지 영역에 주의를 기울이고 구조화된 추론 기반으로 답변를 정립함으로써 VQA에 적용한다.
• 특징 표현을 향상시키기 위해 잔차 특징(res5c)과 고급 풀링 기법(예: MCB)을 사용한다.

실험 결과

연구 질문

• RQ1 비구조화된 CRF로 주의를 모델링하면 VQA에서 공간 관계에 대한 추론 성능이 향상되는가?
• RQ2 평균 장 또는 루프가 있는 신뢰도 전파를 사용한 반복적 CRF 추론이 CNN의 유효 수신장을 초월해 주의를 향상시키는가?
• RQ3 구조화된 주의가 '오른쪽에 있는'과 같은 관계적 단서를 포착하는 데 비구조화된 주의보다 우수한가?
• RQ4 제안된 방법은 공간 추론이 필요한 다양한 VQA 데이터셋에 일반화 가능한가?
• RQ5 다른 추론 알고리즘(MF 대 LBP)과 네트워크 깊이의 성능에 미치는 영향은 무엇인가?

주요 결과

• 제안된 모델은 VQA 2.0 테스트 세트에서 68.18%의 정확도를 달성하였으며, 최고의 공개된 앙상블 모델보다 1.25% 높아 다중 선택 과제에서 1위, 개방형 과제에서 2위를 기록하였다.
• CLEVR 데이터셋에서는 최고의 베이스라인보다 9.5% 높은 성능을 기록하여 공간 추론 과제에서 강력한 성능을 보였다.
• MF-SIG-T3 버전이 가장 높은 정확도를 기록하였으며, MCB 및 MLB 베이스라인을 모두 능가하였고, 특히 Visual Genome 데이터에서 미리 훈련된 경우에 뚜렷한 우수성을 보였다.
• LBP-SIG 모델은 CLEVR에서는 MF-SIG보다 성능이 뛰어나지만 VQA에서는 열 劣하므로, 추론 알고리즘 선택이 데이터셋에 따라 민감한 것을 시사한다.
• 정성적 분석 결과, MF-SIG는 초기에 배경 영역에 주의를 기울였다가 점차 정확한 대상으로 정밀화하는 경향을 보였고, 비구조화된 주의는 종종 핵심 명사에 집중하는 경향을 보였다.
• ResNet의 유효 수신장(ERF)은 CLEVR 및 VQA에서 공간 관계 질문에 정확히 답하기에 부족하며, 특히 목표 영역이 멀리 떨어져 있거나 작은 경우에 두드러진다.