[논문 리뷰] Visual Question: Predicting If a Crowd Will Agree on the Answer

Danna Gurari, Kristen Grauman|arXiv (Cornell University)|2016. 08. 29.

Multimodal Machine Learning Applications참고 문헌 21인용 수 4

한 줄 요약

이 논문은 시각적 질문에 대해 군중이 동의할지를 예측하는 모델을 제안하여, 크라우드소싱에서 인간 노동을 동적으로 할당할 수 있도록 한다. 사전에 답변 동의 여부를 예측함으로써, 답변 다양성을 훼손하지 않으면서도 최소 20%의 부작위적 인간 노력(121,512개 질문 기준)을 줄여 19个工作주와 1,800달러의 비용 절감을 이룬다.

ABSTRACT

Visual question answering (VQA) systems are emerging from a desire to empower users to ask any natural language question about visual content and receive a valid answer in response. However, close examination of the VQA problem reveals an unavoidable, entangled problem that multiple humans may or may not always agree on a single answer to a visual question. We train a model to automatically predict from a visual question whether a crowd would agree on a single answer. We then propose how to exploit this system in a novel application to efficiently allocate human effort to collect answers to visual questions. Specifically, we propose a crowdsourcing system that automatically solicits fewer human responses when answer agreement is expected and more human responses when answer disagreement is expected. Our system improves upon existing crowdsourcing systems, typically eliminating at least 20% of human effort with no loss to the information collected from the crowd.

연구 동기 및 목표

• 450,000개의 시각적 질문을 포함한 대규모 벤치마크에서 시각적 질의 응답(VQA)에서 인간의 불일치가 얼마나 흔하고 어떤 원인으로 발생하는지 분석하기.
• 주어진 시각적 질문에 대해 군중이 동의할지 또는 불일치할지를 예측할 수 있는 시스템을 개발하기.
• 이 예측을 활용해 크라우드소싱에서 인간 노동을 동적으로 할당하여 부작위적 노력은 줄이고 답변 다양성은 유지하기.
• 고정된 재현율을 사용하는 기존 방식 대신 적응형이고 비용 민감도가 높은 답변 수집 방식으로 실시간 VQA 시스템과 데이터셋 제작을 향상시키기.

제안 방법

• 이미지 및 질문 텍스트의 특징을 사용하여 시각적 질문에 대한 군중의 동의 여부를 예측하는 기계학습 모델을 훈련시켰다.
• 합성 및 언어적 표현을 추출하기 위해 깊이 있는 신경망 아키텍처(LSTM-CNN)를 사용하여 예측 모델에 입력을 제공했다.
• 예측된 다수의 답변을 가진 질문에 대해 추가 인간 응답을 우선적으로 배정하는 비용 민감도가 높은 답변 수집 프레임워크를 설계했다.
• 질의당 캡처된 고유한 참답안의 수를 측정하는 다양성 지표를 사용해 시스템을 평가했다.
• 기존의 고정된 재현율 방식(기준)과 VQA 모델의 불확실성에 의존하는 다른 방법과 제안된 방법을 비교했다.
• 불일치가 예측되는 질문에만 추가 인간 응답을 유도함으로써 자원 할당을 최적화하고 낭비된 노력은 최소화했다.

실험 결과

연구 질문

• RQ1 기존의 VQA 벤치마크에서 군중이 시각적 질문에 대해 얼마나 자주 동의하거나 불일치하는가?
• RQ2 시각적 질문에 응답할 때 인간의 불일치가 발생하는 주요 원인은 무엇인가?
• RQ3 VQA 모델의 불확실성에 의존하는 것보다 인간의 불일치를 더 정확하게 예측할 수 있는 모델이 존재하는가?
• RQ4 동적 인간 응답 할당 방식이 VQA 데이터 수집 과정에서 부작위적 노력은 줄이고 답변 다양성은 유지하는 데 얼마나 효과적인가?

주요 결과

• 벤치마크 내 약 50%의 시각적 질문이 군중의 동의를 이끌어내지만, 나머지 50%는 불일치를 유도하여 적응형 수집 전략의 필요성이 뚜렷하다.
• 불일치는 의미적 변형(예: '소액' 대비 '미성년자'), 개념적 차이(예: '유령' 대비 '사진 편집') 및 관련 없는 응답(예: '없음') 등에서 기인한다.
• 제안된 예측 시스템은 VQA 모델의 신뢰도를 사용하는 강력한 기준보다 우수한 성능을 보였으며, 이는 알고리즘적 불확실성 대신 인간의 불일치를 직접 모델링하기 때문이다.
• 기존 방식 대비 92,180개의 답변 수집이 줄었으며, 121,512개 질문 기준으로 19个工作주와 1,800달러의 비용 절감 효과를 거두었다.
• 전체 다양성의 70%는 21% 빠르게 수집되었고, VizWiz 기준으로는 82%의 다양성은 23% 더 빠르게 확보되어 뚜렷한 효율성 향상을 보였다.
• 이 방법은 인간 노력은 줄였지만 답변 다양성은 그대로 유지하여 실시간 VQA 및 데이터셋 제작 모두에 효과적임을 입증했다.