[論文レビュー] A Dataset and Baselines for Visual Question Answering on Art

Noa García, Chentao Ye+6 more|arXiv (Cornell University)|Aug 28, 2020

Multimodal Machine Learning Applications参考文献 54被引用数 8

ひとこと要約

本稿では、絵画の画像からの視覚的質問と関連コメントからの知識ベースの質問を統合した、芸術作品に特化した新しい視覚的質問応答（VQA）データセットAQUAを紹介する。また、視覚的および知識的モダリティを別々に処理する二本のブランチを持つベースラインモデルVIKINGを提案し、AQUA上で優れた性能を達成することで、芸術的コンテンツにおける正確なVQAのための外部芸術知識統合の重要性を示している。

ABSTRACT

Answering questions related to art pieces (paintings) is a difficult task, as it implies the understanding of not only the visual information that is shown in the picture, but also the contextual knowledge that is acquired through the study of the history of art. In this work, we introduce our first attempt towards building a new dataset, coined AQUA (Art QUestion Answering). The question-answer (QA) pairs are automatically generated using state-of-the-art question generation methods based on paintings and comments provided in an existing art understanding dataset. The QA pairs are cleansed by crowdsourcing workers with respect to their grammatical correctness, answerability, and answers' correctness. Our dataset inherently consists of visual (painting-based) and knowledge (comment-based) questions. We also present a two-branch model as baseline, where the visual and knowledge questions are handled independently. We extensively compare our baseline model against the state-of-the-art models for question answering, and we provide a comprehensive study about the challenges and potential future directions for visual question answering on art.

研究の動機と目的

• 芸術作品における視覚的理解と芸術史的知識の両方を要する、新しい芸術作品向けVQAベンチマークを確立すること。
• 現存するVQAデータセットが現実世界の画像に焦点を当てており、芸術的抽象性や文脈的知識を無視しているというギャップを埋めること。
• 絵画における視覚的および知識ベースの推論を反映する、自動生成かつクラウドで検証済みのQAペアを有するデータセットを構築すること。
• 芸術分野向けVQAに適した視覚的および外部知識モダリティを効果的に統合する、ベースラインモデルVIKINGを開発すること。
• 非現実的なスタイルの取り扱いや外部知識の取得といった、芸術分野におけるVQAの主な課題と今後の方向性を特定すること。

提案手法

• AQUAデータセットは、SemArtデータセットの絵画および関連コメントをもとに、最先端の質問生成モデルを用いて自動的にQAペアを生成することで構築された。
• 質問は画像の内容に基づく視覚的質問とコメントに基づく知識ベースの質問に分類され、両方のタイプが同じ入力ソースから導出されている。
• 文法的正しさ、回答可能性、回答の正確性を検証するマルチステージのクラウドソーシングプロセスを実施し、高品質なQAペアを確保した。
• VIKINGベースラインモデルは二本のブランチアーキテクチャを採用している：一方のブランチは視覚エンコーダーを用いて絵画からの視覚特徴を処理し、もう一方はテキストエンコーダーを用いて取得したコメントからの外部知識を処理する。
• モダリティ・セレクタは質問に応じて視覚的ブランチまたは知識ブランチを動的に選択し、質問タイプに適応する能力を向上させた。
• 外部知識取得には二段階のパイプラインを採用：前処理およびn-gram特徴を伴うTF-IDF、その後にBERTベースの再ランク付けを実施し、上位k件での再現率を向上させた。

実験結果

リサーチクエスチョン

• RQ1 自動生成と人間による検証を組み合わせることで、芸術作品向けの大規模かつ高品質なVQAデータセットをどのように構築できるか？
• RQ2 VIKINGのような二本のブランチ構造を持つモデルは、芸術分野向けVQAタスクにおいて、標準的なVQAおよびテキストQAモデルをどれほど上回るのか？
• RQ3 コメントやWikipediaのような外部知識を統合することで、芸術ベースのVQAシステムの性能にどのような影響を与えるか？
• RQ4 非現実的な芸術的スタイルは、標準的なビジョンモデルのVQA性能にどのように影響を与えるか？また、どのような改善が可能か？
• RQ5 視覚的認識と芸術史的知識を組み合わせて、絵画に関する正確な質問応答を実現する上で直面する主な課題は何か？

主な発見

• VIKINGモデルは、AQUAデータセット上で既存の最先端VQAおよびテキストQAモデルを顕著に上回り、今後の研究の強力なベースラインを確立した。
• VIKINGのモダリティ・セレクタは、テストサンプルの90％以上で適切なブランチ（視覚的または知識的）を正しく選択しており、モダリティの区別が効果的に行われていることを示している。
• 二段階の外部知識取得パイプラインは、前処理およびn-gramを伴うTF-IDFを用いる際、10位以内再現率（R@10）が90.7％を達成し、BERTベースの再ランク付けを適用することでさらに90.7％に向上した。
• 視覚的および知識的ブランチを併用した完全なVIKINGモデルは、正解率0.996を達成しており、知識ブランチを単独で追加しても顕著な向上が見られなかったことから、両モダリティ間の強い相乗効果が示された。
• 失敗事例はほとんどが妥当であり、他方のモダリティを必要とする質問が原因であることが判明し、システムがモダリティ依存性を正しく識別していることを示している。
• 本研究で特定された主な制限要因は以下の通り：自動QA生成により質問の多様性が制限され、現実世界の画像で訓練されたオブジェクト検出器は非現実的なスタイルに対し苦労し、知識取得はSemArtのコメントという1つのソースに依存しており、Wikipediaのような独立したソースには依存していない。