[논문 리뷰] Learning Rich Image Region Representation for Visual Question Answering

Bei Liu, Zhicheng Huang외 3명|arXiv (Cornell University)|2019. 10. 29.

Multimodal Machine Learning Applications참고 문헌 14인용 수 8

한 줄 요약

이 논문은 성능 향상을 위해 시각적 및 텍스트적 특징 표현을 향상시키는 VQA 프레임워크를 제안한다. 객체 검출을 위해 더 강력한 ResNeXt-152 백본과 FPN, 그리고 다중 척도 훈련을 사용하고, GloVe 대신 BERT를 사용하여 질문의 문맥적 표현을 개선함으로써, VQA 2.0 test-std 분할에서 74.89%의 정확도를 달성하여 VQA 챌린지 2019에서 2위를 차지했다.

ABSTRACT

We propose to boost VQA by leveraging more powerful feature extractors by improving the representation ability of both visual and text features and the ensemble of models. For visual feature, some detection techniques are used to improve the detector. For text feature, we adopt BERT as the language model and find that it can significantly improve VQA performance. Our solution won the second place in the VQA Challenge 2019.

연구 동기 및 목표

• 시각적 및 텍스트적 특징의 표현 능력을 향상시켜 시각적 질의 응답(VQA) 성능을 향상시키기.
• 표준 객체 검출기와 얕은 텍스트 인코더가 VQA를 위한 rich하고 문맥 인식 가능한 표현을 포착하는 데에 한계가 있음을 해결하기.
• 더 깊은 백본과 사전 훈련된 언어 모델과 같은 고급 특징 추출기의 영향을 VQA 정확도에 미치는 영향을 조사하기.
• 보조 감독(속성 헤드)과 다중 척도 훈련과 같은 훈련 기법을 통해 시각적 특징 추출을 최적화하기.
• VQA 2.0 벤치마크에서 모델 앙상블 및 분석 실험을 통해 최신 기술 수준의 성능을 입증하기.

제안 방법

• Visual Genome 1.2 데이터셋에서 ImageNet 사전 훈련 가중치를 사용해 초기화한 ResNeXt-152 및 FPN 백본을 사용해 Faster R-CNN 검출기 훈련하기.
• 추론 과정에서 제거되는 시각적 특징 표현 향상을 위한 속성 예측 헤드를 훈련 중에 통합하기.
• 검출기 훈련 중 다중 척도 훈련을 적용해 검출의 강건성과 일반화 능력을 향상시키기.
• 질문의 깊이 있는 이중 방향 문맥 표현을 확보하기 위해 GloVe를 BERT-base로 대체하기.
• BERT-base의 최종 레이어 은닉 상태를 사용해 토큰 수준의 질문 특징을 추출하고, BAN 모델과의 차원 일치를 위해 입력 차원을 조정하기.
• BERT 모듈의 초기 학습률이 5e-5인 20에포크 스케줄을 사용해 BERT 특징을 활용한 BAN 모델의 미세조정 수행하기.

실험 결과

연구 질문

• RQ1 ResNeXt-152와 FPN, 다중 척도 훈련을 포함한 더 강력한 시각적 특징 추출기의 성능 향상 효과가 VQA 성능 향상에 뚜렷하게 기여하는가?
• RQ2 GloVe를 BERT-base로 대체함으로써 VQA 2.0 벤치마크에서 VQA 정확도가 어느 정도 향상되는가?
• RQ3 시각적 특징 추출 중 속성 감독이 표현 품질 향상에 얼마나 효과적인가?
• RQ4 강력한 VQA 모델인 BAN에 통합된 향상된 시각적 및 텍스트적 특징 표현의 병합 효과는 어떠한가?
• RQ5 모델 앙상블를 통해 향상된 특징 표현의 성능 향상을 더욱 극대화할 수 있는가?

주요 결과

• ResNeXt-152와 FPN, 다중 척도 훈련을 사용한 결과, test-dev 분할에서 VQA 정확도가 71.68%로 상당한 향상이 있었으며, 이는 ResNet-101 기반 모델 대비 뚜렷한 성능 향상이다.
• 검출기 훈련 중 속성 헤드의 기여로 성능이 4% 이상 향상되어, 이는 시각적 특징 품질 향상에 효과적임을 입증한다.
• GloVe를 BERT-base로 대체함으로써 모든 설정에서 정확도가 1점 이상 향상되었으며, 최고의 단일 모델은 test-dev에서 72.79%의 정확도를 기록했다.
• BERT 기반 특징을 사용한 20개 모델의 앙상블는 test-dev에서 74.71%의 정확도, test-std에서 74.89%의 정확도를 달성하여 VQA 챌린지 2019에서 2위를 차지했다.
• 분석 실험을 통해 BERT, FPN, 다중 척도 훈련, 속성 헤드 각각이 최종 성능 향상에 점진적으로 기여하는 것으로 확인되었다.