[논문 리뷰] Robustness Analysis of Visual QA Models by Basic Questions

Jia-Hong Huang, Dao, Cuong Duc외 3명|arXiv (Cornell University)|2017. 09. 14.

Multimodal Machine Learning Applications참고 문헌 41인용 수 15

한 줄 요약

이 논문은 의미적으로 유사한 '기본 질문'을 통제된 노이즈로 사용하여 시각질문응답(VQA) 모델의 강건성 평가를 위한 새로운 프레임워크를 제안한다. LASSO 기반 유사도 방법을 통해 기본 질문을 순위 매기고 주 질문과 결합함으로써 다양한 노이즈 수준을 생성하며, 새로운 강건성 점수($R_{\text{score}}$)를 도입한다. 이는 주의 기반 VQA 모델이 비주목 기반 모델보다 두 개의 새로운 대규모 데이터셋에서 더 강건하다는 것을 보여준다.

ABSTRACT

Visual Question Answering (VQA) models should have both high robustness and accuracy. Unfortunately, most of the current VQA research only focuses on accuracy because there is a lack of proper methods to measure the robustness of VQA models. There are two main modules in our algorithm. Given a natural language question about an image, the first module takes the question as input and then outputs the ranked basic questions, with similarity scores, of the main given question. The second module takes the main question, image and these basic questions as input and then outputs the text-based answer of the main question about the given image. We claim that a robust VQA model is one, whose performance is not changed much when related basic questions as also made available to it as input. We formulate the basic questions generation problem as a LASSO optimization, and also propose a large scale Basic Question Dataset (BQD) and Rscore (novel robustness measure), for analyzing the robustness of VQA models. We hope our BQD will be used as a benchmark for to evaluate the robustness of VQA models, so as to help the community build more robust and accurate VQA models.

연구 동기 및 목표

• 의미적 변형에 대한 표준화된 강건성 평가의 부족을 해결하기 위해, 특히 의미적 변형 하에서의 VQA 모델 강건성 평가를 수행한다.
• 질문 간 의미 유사도를 이용해 VQA 입력의 노이즈 수준을 정량화하는 방법을 개발한다.
• 정확도를 순수한 입력과 노이즈가 포함된 입력 간 비교함으로써 계산되는 새로운 강건성 측정법인 $R_{\text{score}}$를 제안한다.
• 일致한 강건성 벤치마킹을 위한 표준화된 두 개의 대규모 데이터셋인 일반 기본 질문 데이터셋(GBQD)과 예/아니요 기본 질문 데이터셋(YNBQD)을 구축한다.
• 제안된 프레임워크를 사용해 여섯 개의 최신 VQA 모델의 강건성을 통제된 의미적 노이즈 하에서 평가하고 비교한다.

제안 방법

• 프레임워크는 주 질문과의 의미적 유사도를 기반으로 기본 질문을 순위 매기는 노이즈 생성기(Noxe Generator)를 사용한다.
• 의미적 관련성을 더 잘 포착하고 노이즈 수준을 제어하기 위해, 새로운 LASSO 기반 최적화 방법을 제안한다.
• 상위 $n$개(예: $n=3$)의 순위 매겨진 기본 질문을 주 질문과 결합하여 노이즈가 포함된 입력 질문을 생성한다.
• VQA 모델은 원본 질문과 노이즈가 포함된 질문에 대해 평가되며, $R_{\text{score}}$는 노이즈가 포함된 입력에서의 정확도를 순수한 입력에서의 정확도로 나눈 비율로 계산된다.
• 프레임워크는 BLEU, ROUGE, CIDEr, METEOR 등의 다양한 유사도 메트릭을 지원하며, 새로운 데이터셋과 순위 매기기 방법에의 확장도 가능하다.
• 강건성 분석은 새로이 도입된 GBQD 및 YNBQD 데이터셋을 사용해 여섯 개의 최신 VQA 모델에 적용된다.

실험 결과

연구 질문

• RQ1 기본 질문 형태의 의미적 변형을 체계적으로 활용하여 VQA 모델의 강건성을 평가할 수 있는 방법은 무엇인가?
• RQ2 VQA 강건성 평가에서 노이즈 수준 제어를 위해 기본 질문을 순위 매길 때 가장 효과적인 텍스트 유사도 메트릭은 무엇인가?
• RQ3 의미적 노이즈 하에서 주의 기반 VQA 모델의 강건성은 비주목 기반 모델보다 어떻게 다를까?
• RQ4 제안된 $R_{\text{score}}$ 측정법은 다수의 관련 질문 하에서 인간과 유사한 추론과 얼마나 관련이 깊은가?
• RQ5 기본 질문의 대규모 표준화된 데이터셋은 VQA 강건성 연구의 재현 가능성과 벤치마킹을 향상시킬 수 있는가?

주요 결과

• LASSO 기반 순위 매기기 방법은 BLEU-1부터 BLEU-4, ROUGE, CIDEr, METEOR까지 포함한 7개의 기존 텍스트 유사도 메트릭보다 효과적인 노이즈 수준 생성에 뛰어난 성능을 보였다.
• 주의 기반 VQA 모델은 $R_{\text{score}}$로 측정했을 때 비주목 기반 모델보다 더 높은 강건성을 보였다.
• 제안된 $R_{\text{score}}$ 측정법은 순수한 입력과 노이즈가 포함된 입력에서의 정확도 비교를 통해 모델의 강건성을 효과적으로 정량화했다.
• 일반 기본 질문 데이터셋(GBQD)과 예/아니요 기본 질문 데이터셋(YNBQD)은 일致한 VQA 강건성 평가를 위한 표준화된 대규모 자원을 제공한다.
• 의미적으로 관련성이 높은 질문들을 순위 매겨 노이즈를 모델링함으로써, 통제되고 해석 가능한 강건성 분석이 가능해졌다.
• 실험 결과는 유사도가 높은 기본 질문으로 인한 노이즈에 대해 모델이 더 높은 정확도를 유지함으로써, 노이즈 수준 가설이 검증됨을 확인했다.