[논문 리뷰] Answer Questions with Right Image Regions: A Visual Attention Regularization Approach

Yibing Liu, Yangyang Guo외 4명|arXiv (Cornell University)|2021. 02. 03.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 인간의 주의 지도 없이 VQA 모델이 간과한 핵심 이미지 영역을 식별하고 주의를 강화하는 모델에 종속되지 않는 시각적 주의 정규화 방법 AttReg를 제안한다. 마스크 유도 학습 방식을 사용함으로써, VQA-CP v2에서 새로운 SOTA 정확도 60.00%를 달성하며, 기준 모델 대비 7.01%p의 절대적 향상을 이룬다.

ABSTRACT

Visual attention in Visual Question Answering (VQA) targets at locating the right image regions regarding the answer prediction, offering a powerful technique to promote multi-modal understanding. However, recent studies have pointed out that the highlighted image regions from the visual attention are often irrelevant to the given question and answer, leading to model confusion for correct visual reasoning. To tackle this problem, existing methods mostly resort to aligning the visual attention weights with human attentions. Nevertheless, gathering such human data is laborious and expensive, making it burdensome to adapt well-developed models across datasets. To address this issue, in this paper, we devise a novel visual attention regularization approach, namely AttReg, for better visual grounding in VQA. Specifically, AttReg firstly identifies the image regions which are essential for question answering yet unexpectedly ignored (i.e., assigned with low attention weights) by the backbone model. And then a mask-guided learning scheme is leveraged to regularize the visual attention to focus more on these ignored key regions. The proposed method is very flexible and model-agnostic, which can be integrated into most visual attention-based VQA models and require no human attention supervision. Extensive experiments over three benchmark datasets, i.e., VQA-CP v2, VQA-CP v1, and VQA v2, have been conducted to evaluate the effectiveness of AttReg. As a by-product, when incorporating AttReg into the strong baseline LMH, our approach can achieve a new state-of-the-art accuracy of 60.00% with an absolute performance gain of 7.01% on the VQA-CP v2 benchmark dataset...

연구 동기 및 목표

• 정답 예측이 올바르게 이루어지더라도 VQA 모델의 시각적 주의가 관련 없는 이미지 영역에 집중하는 문제를 해결하기 위해.
• 비용이 많이 드는 인간 주석 주의 데이터에 의존하지 않고도 시각적 기반을 향상시키기 위해.
• Grad-CAM과 같은 기울기 기반 방법과 비교해 시각적 주의의 신뢰성(faithfulness)을 경험적으로 검증하기 위해.
• 기존 모델 아키텍처에 영향을 주지 않고, 간과되었지만 필수적인 이미지 영역에 주의를 강화하는 모델에 종속되지 않는 정규화 접근법을 개발하기 위해.

제안 방법

• AttReg는 주어진 답변 예측에 필수적인 이미지 영역을 식별하지만, 기반 모델에 의해 낮은 주의 가중치가 할당된 영역을 찾아낸다.
• 이러한 간과된 핵심 영역에 더 집중하도록 주의 메커니즘을 정규화하기 위해 마스크 유도 학습 방식을 적용한다.
• 모든 과정이 자체 학습이며, 인간 주석 주의맵이나 기울기 정보가 필요하지 않다.
• 차폐 연구와 예측 변화량(TVD)을 통해 특징 중요도를 활용하여 주의의 신뢰성(faithfulness)을 검증한다.
• 기존 VQA 모델에 아키텍처 변경 없이 통합 가능하므로 모델에 종속되지 않는 호환성을 확보한다.
• 주어진 이미지 영역 기여도를 평가하기 위해 Faster R-CNN 특징(36개의 객체 제안)을 사용하여 주의 가중치를 계산한다.

실험 결과

연구 질문

• RQ1 인간 주석 주의 데이터 없이도 VQA의 시각적 주의를 관련 있는 이미지 영역에 집중시키기 위해 어떻게 정규화할 수 있는가?
• RQ2 Grad-CAM과 같은 기울기 기반 방법과 비교해 시각적 기반에서 주의가 얼마나 더 신뢰할 수 있는가?
• RQ3 자기 학습 정규화 방법을 통해 주의의 잘못된 국소화를 수정함으로써 VQA 성능을 향상시킬 수 있는가?
• RQ4 주의의 신뢰성 향상이 다양한 VQA 벤치마크에서 모델의 일반화 능력 향상에 기여하는가?

주요 결과

• AttReg는 VQA-CP v2 벤치마크에서 새로운 SOTA 정확도 60.00%를 달성하였으며, LMH 기준 모델 대비 7.01%p의 절대적 향상을 보였다.
• 주의 가중치가 감소함에 따라 TVD(예측 변화량)가 단조롭게 감소하는 경향을 보이며, 이는 주의 메커니즘이 모델 예측에 대해 강력한 신뢰성을 지닌다는 것을 시사한다.
• 반면 Grad-CAM은 일관성 없는 행동을 보였다: 낮은 기울기 가중치를 가진 영역이 때로 더 큰 예측 변화를 유도하여, 이는 시각적 기반에 대한 신뢰도를 떨어뜨린다.
• 유지되는 영역의 주의 가중치가 감소함에 따라 성능이 지속적으로 하락함을 확인하였으며, 이는 높은 주의 가중치가 모델 성능 기여도와 관련이 있음을 확인한다.
• AttReg 적용 후, 이전에 간과되었던 핵심 객체 'dress'의 주의 가중치가 0.00에서 0.33으로 상승하여 가장 영향력 있는 영역이 되었고, 이로 인해 정답 예측이 가능해졌다.
• 이 방법은 VQA-CP v2, VQA-CP v1, VQA v2 세 가지 벤치마크 데이터셋에서 효과적이며, 광범위한 적용 가능성을 입증하였다.