[논문 리뷰] Exploring Human-like Attention Supervision in Visual Question Answering

Tingting Qiao, Jianfeng Dong외 1명|arXiv (Cornell University)|2017. 09. 19.

Multimodal Machine Learning Applications인용 수 45

한 줄 요약

이 논문은 VQA-HAT 데이터셋을 기반으로 훈련하여 시각질문응답(VQA)에 인간과 유사한 주의 맵을 생성하는 인간 주의망(HAN)을 제안한다. 이를 통해 VQA v2.0용 인간과 유사한 주의( HLAT) 데이터셋을 구축한다. 이러한 인간과 유사한 주의 맵을 지도로 사용함으로써 모델은 주의 정확도를 향상시키고, 비지도 기반 보다 0.15%p의 절대적 정확도 향상을 달성한다.

ABSTRACT

Attention mechanisms have been widely applied in the Visual Question Answering (VQA) task, as they help to focus on the area-of-interest of both visual and textual information. To answer the questions correctly, the model needs to selectively target different areas of an image, which suggests that an attention-based model may benefit from an explicit attention supervision. In this work, we aim to address the problem of adding attention supervision to VQA models. Since there is a lack of human attention data, we first propose a Human Attention Network (HAN) to generate human-like attention maps, training on a recently released dataset called Human ATtention Dataset (VQA-HAT). Then, we apply the pre-trained HAN on the VQA v2.0 dataset to automatically produce the human-like attention maps for all image-question pairs. The generated human-like attention map dataset for the VQA v2.0 dataset is named as Human-Like ATtention (HLAT) dataset. Finally, we apply human-like attention supervision to an attention-based VQA model. The experiments show that adding human-like supervision yields a more accurate attention together with a better performance, showing a promising future for human-like attention supervision in VQA.

연구 동기 및 목표

• 대규모 VQA 데이터셋에 대한 인간 레이블 주의 맵의 부족을 해결하기 위해.
• 인간 주의 패턴이 주의 기반 VQA 모델의 성능을 향상시킬 수 있는지 조사하기 위해.
• VQA를 위해 대규모로 합성된 인간과 유사한 주의 맵을 생성하는 방법을 개발하기 위해.
• 명시적인 인간과 유사한 주의 지도가 VQA 모델 성능 향상에 효과적인지 평가하기 위해.
• HLAT 데이터셋을 구축하고 공개하여 주의 지도의 기준점으로 활용하기 위해.

제안 방법

• 이미지-질문 쌍으로부터 인간과 유사한 주의 맵을 예측하기 위해 VQA-HAT 데이터셋에서 인간 주의망(HAN)을 훈련한다.
• 다중 주의 맵을 사전에 훈련된 VQA 모델에서 추출한 후, 게이트드 리커런트 유닛(GRU)을 사용해 정제된 인간과 유사한 주의 맵으로 통합한다.
• 사전에 훈련된 HAN을 전체 VQA v2.0 데이터셋에 적용하여 대규모의 인간과 유사한 주의 맵 데이터셋인 HLAT를 생성한다.
• 주의 기반 VQA 모델 훈련 중에 HLAT 데이터셋을 진짜 지도로 사용한다.
• 인간과 유사한 주의 지도 유무에 따라 VQA 모델을 훈련시켜 성능을 비교한다.
• 기본적인 VQA 정확도 지표, 특히 공의지 기반 평가 방법을 사용해 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 인간 주의 패턴은 주의 기반 VQA 모델의 성능을 향상시킬 수 있는가?
• RQ2 인간 주의가 강조한 영역은 질문에 더 정확하고 관련 있는 시각적 특징을 반영하는가?
• RQ3 제한된 인간 레이블 주의 데이터에서 딥 러닝 모델이 인간과 유사한 주의 맵을 학습해 생성할 수 있는가?
• RQ4 합성된 인간과 유사한 주의 맵을 명시적인 지도로 사용하면 주의 정렬이 향상되고 VQA 정확도가 높아지는가?
• RQ5 주의 맵의 품질이 복잡한 질문, 예를 들어 세는 것 또는 추론 작업을 해결하는 데 모델의 능력에 어떤 영향을 미치는가?

주요 결과

• 두 번의 구간(그러나)을 사용할 때, 인간과 유사한 주의 지도를 적용한 지도 학습 모델은 비지도 기반 기준보다 전체 정확도에서 0.15%p의 절대적 향상을 달성했다.
• 한 번의 구간을 사용할 경우, 지도 학습 모델은 비지도 모델보다 정확도에서 0.11%p 향상되었다.
• 지도 학습 모델이 생성한 주의 맵은 시각화를 통해 더 정확하고 관련 있는 이미지 영역을 집중적으로 반영하고 있음을 확인했다.
• GRU를 사용해 주의 맵을 인코딩한 HAN 모델은 GRU 없이 구현한 버전보다 성능이 뛰어나, 순차적 모델링이 주의를 정제하는 데 효과적임을 입증했다.
• HAN를 통해 생성된 HLAT 데이터셋은 VQA 분야에서 대규모의 합성된 인간과 유사한 주의 맵 자원을 제공하며, 연구 목적을 위해 공개되었다.
• 지도 학습 모델은 세는 질문에서 특히 높은 정확도를 보였으며, 이는 복잡한 추론 작업에서 주의 정밀도 향상이 이루어졌음을 시사한다.