[논문 리뷰] From Pixels to Objects: Cubic Visual Attention for Visual Question Answering

Jingkuan Song, Pengpeng Zeng외 2명|arXiv (Cornell University)|2022. 06. 04.

Multimodal Machine Learning Applications인용 수 12

한 줄 요약

이 논문은 피크셀 수준의 특징이 아닌 개체 기반 영역에 대해 병합된 채널 및 공간 주의를 적용하는 새로운 VQA 프레임워크인 Cubic Visual Attention (CVA)를 제안한다. 이는 CNN의 고유한 공간적 및 채널 구조를 활용한다. CVA는 표준 테스트 분할에서 최신 기술보다 최대 6.8% 향상되어 COCO-QA에서 67.51%의 정확도를 기록하고, Visual7W에서 63.8%를 기록한다.

ABSTRACT

Recently, attention-based Visual Question Answering (VQA) has achieved great success by utilizing question to selectively target different visual areas that are related to the answer. Existing visual attention models are generally planar, i.e., different channels of the last conv-layer feature map of an image share the same weight. This conflicts with the attention mechanism because CNN features are naturally spatial and channel-wise. Also, visual attention models are usually conducted on pixel-level, which may cause region discontinuous problems. In this paper, we propose a Cubic Visual Attention (CVA) model by successfully applying a novel channel and spatial attention on object regions to improve VQA task. Specifically, instead of attending to pixels, we first take advantage of the object proposal networks to generate a set of object candidates and extract their associated conv features. Then, we utilize the question to guide channel attention and spatial attention calculation based on the con-layer feature map. Finally, the attended visual features and the question are combined to infer the answer. We assess the performance of our proposed CVA on three public image QA datasets, including COCO-QA, VQA and Visual7W. Experimental results show that our proposed method significantly outperforms the state-of-the-arts.

연구 동기 및 목표

• 모든 채널을 동일하게 취급하고 피크셀 수준에서 작동하는 평면적 시각 주의 메커니즘의 한계를 해결하기 위해.
• 피크셀 수준 주의에서 기인하는 영역 불연속성 문제를 피하기 위해 피크셀 수준이 아닌 개체 제안을 중심으로 주의를 집중시키기 위해.
• CNN 특징의 천연적인 공간적 및 채널 구조와 더 잘 일치시키기 위해.
• 개체 기반 특징에 대해 채널별 및 공간 주의를 병합하여 모델링함으로써 VQA 성능을 향상시키기 위해.
• 개체 영역 기반의 입체 주의가 다양한 질문 유형에 걸쳐 답변 예측을 크게 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 입력 이미지에서 상위-k개의 개체 영역을 추출하기 위해 개체 제안 네트워크(예: Faster R-CNN)를 사용한다.
• 마지막 합성곱 레이어에서 각 개체 영역에 대해 D차원의 CNN 특징을 추출한다.
• 질문에 기반한 채널 주의를 특징 맵에 적용하여 질문의 맥락에 따라 의미적 채널을 동적으로 가중치를 부여한다.
• 채널 주의를 거친 특징에 대해 영역 기반 공간 주의를 적용하여 가장 관련성이 높은 개체 영역을 선택한다.
• 다중 모odal 상호작용 모듈을 사용하여 주의를 받은 시각적 특징과 질문 임bedding을 융합한다.
• 융합된 표현에 기반하여 분류기를 훈련시켜 최종 답변을 예측한다.

실험 결과

연구 질문

• RQ1 피크셀 수준 주의와 비교해 개체 영역에 대해 병합된 채널 및 공간 주의를 적용할 경우 VQA 성능이 향상되는가?
• RQ2 공간적 및 채널별 주의를 동시에 모델링하는 것이 CNN 특징의 계층적 성격과 더 잘 일치하는가?
• RQ3 개체 기반 특징 표현이 피크셀 수준 주의에서 흔히 발생하는 영역 불연속성 문제를 줄일 수 있는가?
• RQ4 다양한 질문 유형(예: 개방형, 다중 선택, 개체, 수치, 색상, 위치 등)에 대해 CVA는 최신 기술 모델과 비교해 정확도에서 어떤가?
• RQ5 복잡한 텍스트 주의 메커니즘 없이도 CVA는 시각 주의만으로도 뛰어난 성능을 달성하는가?

주요 결과

• CVA는 COCO-QA 테스트-디브 분할에서 67.51%의 top-1 정확도를 기록하여 이전 최신 기술인 HieCoAtt보다 2.11% 높고, QRU보다 5.01% 높다.
• Visual7W 데이터셋에서 CVA는 63.8%의 평균 정확도를 기록했으며, 이는 단지 시각 주의만을 사용함에도 불구하고 MLAN(62.4%)과 LSTM-Att(54.3%)를 초월한다.
• COCO-QA 테스트-스탠다드 분할에서 개방형 및 모든 유형의 질문에 대해 최고의 베이스라인(ACK)보다 6.8% 향상된 성능을 기록한다.
• COCO-QA에서 CVA는 76.70 WUPS0.9를 기록하여 답변의 의미적 유사도에서 뛰어난 성능을 보였다.
• CVA는 개체 질문(69.55%)과 위치 질문(59.93%)에서 특히 뛰어난 성능을 보였으며, 이는 강력한 영역 기반 추론 능력을 갖추고 있음을 시사한다.
• 제거 실험 결과에서 채널 주의와 공간 주의 모두 성능 향상에 기여하며, 특히 의미적 속성 선택에 있어 채널 주의가 매우 효과적임을 확인했다.