[論文レビュー] Visual Question: Predicting If a Crowd Will Agree on the Answer

Danna Gurari, Kristen Grauman|arXiv (Cornell University)|Aug 29, 2016

Multimodal Machine Learning Applications参考文献 21被引用数 4

ひとこと要約

本稿では、視覚的質問に対するクラウドの合意を予測するモデルを提案し、クラウドソーシングにおける人的労働の動的割り当てを可能にしている。事前に回答の合意を予測することで、回答の多様性を損なわず、少なくとも20％の人的労働の無駄を削減した。121,512件の質問に対して、19作業週と1,800ドルのコスト削減が達成された。

ABSTRACT

Visual question answering (VQA) systems are emerging from a desire to empower users to ask any natural language question about visual content and receive a valid answer in response. However, close examination of the VQA problem reveals an unavoidable, entangled problem that multiple humans may or may not always agree on a single answer to a visual question. We train a model to automatically predict from a visual question whether a crowd would agree on a single answer. We then propose how to exploit this system in a novel application to efficiently allocate human effort to collect answers to visual questions. Specifically, we propose a crowdsourcing system that automatically solicits fewer human responses when answer agreement is expected and more human responses when answer disagreement is expected. Our system improves upon existing crowdsourcing systems, typically eliminating at least 20% of human effort with no loss to the information collected from the crowd.

研究の動機と目的

• 450,000件の視覚的質問を含む大規模なベンチマークにおいて、視覚的質問応答（VQA）における人間の不一致の頻度と原因を分析すること。
• 与えられた視覚的質問に対して、クラウドが合意するか否かを予測するシステムを開発すること。
• この予測を応用し、クラウドソーシングにおける人的労働の動的割り当てを実現し、無駄な作業を減らしながら回答の多様性を維持すること。
• 固定された再現性を用いるのではなく、適応的でコスト感受性のある回答収集に置き換えることで、リアルタイムVQAシステムとデータセット作成の両方を改善すること。

提案手法

• 画像および質問テキストからの特徴を用いて、視覚的質問に対するクラウドの合意を予測する機械学習モデルを訓練した。
• LSTM-CNNアーキテクチャを用いて、入力となる合意予測モデルに適した視覚的および言語的表現を抽出した。
• 予測された回答の多様性が低い視覚的質問に対して追加の人間の回答を集めるよう優先する、コスト感受性のある回答収集フレームワークを設計した。
• 1つの質問あたりに把握された固有の真の回答の数を測る多様性指標を用いて、システムを評価した。
• 固定再現性（現状の標準的手法）を用いるベースラインと、VQAモデルの不確実性に依存する別の手法とを比較した。
• 不一致が予測される質問にのみ追加の人間の回答を割り当てることで、無駄な作業を最小限に抑えるリソース割り当てを最適化した。

実験結果

リサーチクエスチョン

• RQ1 既存のVQAベンチマークにおいて、クラウドは視覚的質問の回答に対してどの程度の頻度で合意または不一致を示すか？
• RQ2 視覚的質問への回答における人間の不一致の主な原因は何か？
• RQ3 VQAモデルの不確実性に依存するのではなく、人間の不一致を直接モデル化することで、視覚的質問に対するクラウドの合意を予測するモデルは、より高い精度で予測できるか？
• RQ4 動的割り当てによる人的回答の割り当ては、VQAデータ収集において、無駄な作業をどの程度削減できるか。また、回答の多様性はどのように維持されるか？

主な発見

• ベンチマーク内の視覚的質問の約50％がクラウドの合意を示す一方で、残りの50％は不一致を示しており、適応的収集戦略の必要性が顕著に表れている。
• 不一致は、意味的変化（例：「軽微」対「未成年」）、概念的差異（例：「幽霊」対「Photoshop加工」）、および無関係な回答（例：「いいえ」）によって生じる。
• 提案された予測システムは、VQAモデルの信頼度に依存する強力なベースラインを上回っており、アルゴリズム的不確実性ではなく、人間の不一致を直接モデル化しているためである。
• 状況に応じた収集に切り替えることで、121,512件の質問に対して、92,180件の回答収集が不要となり、19作業週と1,800ドルのコスト削減が達成された。
• 全多様性の70％を21％、VizWizにおける多様性の82％を23％の割合で収集速度を向上させ、顕著な効率性の向上が示された。
• 人的労働を削減しながらも、回答の多様性を完全に維持しているため、リアルタイムVQAとデータセット作成の両方において効果的であることが証明された。