[논문 리뷰] A Dataset and Baselines for Visual Question Answering on Art

Noa García, Chentao Ye외 6명|arXiv (Cornell University)|2020. 08. 28.

Multimodal Machine Learning Applications참고 문헌 54인용 수 8

한 줄 요약

이 논문은 미술 작품을 중심으로 한 시각적 질의 응답(VQA) 데이터셋인 AQUA를 소개한다. AQUA는 그림의 시각적 질문과 관련된 댓글 기반의 지식 기반 질문을 결합한다. 본 논문은 시각적 및 지식 기반 모odalities를 별도로 처리하는 이중 브랜치 기반 모델인 VIKING을 제안하며, AQUA에서 뛰어난 성능을 기록하여 예술적 콘텐츠에 대한 정확한 VQA를 위해 외부 예술 지식 통합의 중요성을 입증한다.

ABSTRACT

Answering questions related to art pieces (paintings) is a difficult task, as it implies the understanding of not only the visual information that is shown in the picture, but also the contextual knowledge that is acquired through the study of the history of art. In this work, we introduce our first attempt towards building a new dataset, coined AQUA (Art QUestion Answering). The question-answer (QA) pairs are automatically generated using state-of-the-art question generation methods based on paintings and comments provided in an existing art understanding dataset. The QA pairs are cleansed by crowdsourcing workers with respect to their grammatical correctness, answerability, and answers' correctness. Our dataset inherently consists of visual (painting-based) and knowledge (comment-based) questions. We also present a two-branch model as baseline, where the visual and knowledge questions are handled independently. We extensively compare our baseline model against the state-of-the-art models for question answering, and we provide a comprehensive study about the challenges and potential future directions for visual question answering on art.

연구 동기 및 목표

• 시각적 이해와 예술사적 지식이 모두 필요한 예술 작품에 대한 시각적 질의 응답(VQA)의 새로운 벤치마크를 설정하기 위해.
• 기존 VQA 데이터셋이 현실 세계의 이미지에 집중하고 예술적 추상성과 맥락 지식을 간과하는 격차를 보완하기 위해.
• 그림에 대한 시각적 및 지식 기반 추론을 반영하는 자동 생성 및 인류 검증을 거친 QA 쌍을 포함하는 데이터셋을 구축하기 위해.
• 예술 전용 VQA를 위해 시각적 및 외부 지식 모달리티를 효과적으로 통합하는 VIKING이라는 기반 모델을 개발하기 위해.
• 비현실적인 스타일 처리 및 외부 지식 검색과 같은 예술 분야 VQA의 핵심 과제와 향후 방향성을 규명하기 위해.

제안 방법

• AQUA 데이터셋은 SemArt 데이터셋의 그림과 관련 댓글에 대해 최신 질문 생성 모델을 사용해 자동으로 QA 쌍을 생성함으로써 구축된다.
• 질문은 그림의 내용 기반 시각적 질문과 댓글 기반 지식 기반 질문으로 분류되며, 둘 다 동일한 입력 자료에서 유도됨.
• 다단계 인류 코딩 과정을 통해 문법적 정확성, 답변 가능성, 답변 정확성을 검증하여 고품질의 QA 쌍을 확보함.
• VIKING 기반 모델은 이중 브랜치 아키텍처를 사용함: 하나의 브랜치는 시각 인코더를 통해 그림의 시각적 특징을 처리하고, 다른 브랜치는 텍스트 인코더를 통해 검색된 댓글의 외부 지식을 처리함.
• 모달리티 선택기(modality selector)는 질문에 따라 시각적 또는 지식 기반 브랜치 중 적절한 것을 동적으로 선택하여 질문 유형에 대한 적응성을 향상시킴.
• 외부 지식 검색은 두 단계의 파이프라인을 활용함: 전처리 및 n-gram 특징을 포함한 TF-IDF, 그 다음 BERT 기반 재정렬을 통해 상위-k 위치에서의 재현율을 향상시킴.

실험 결과

연구 질문

• RQ1 자동 생성과 인간 검증을 통해 대규모 고품질의 예술 작품 전용 VQA 데이터셋을 어떻게 구축할 수 있는가?
• RQ2 VIKING과 같은 이중 브랜치 모델이 예술 전용 VQA 작업에서 기존의 표준 VQA 및 텍스트 QA 모델보다 얼마나 뛰어나게 성능을 발휘할 수 있는가?
• RQ3 댓글이나 위키백과와 같은 외부 지식 통합이 예술 기반 VQA 시스템의 성능에 어떤 영향을 미치는가?
• RQ4 비현실적인 예술 스타일은 표준 시각 모델의 VQA 성능에 어떤 영향을 미치며, 이를 어떻게 향상시킬 수 있는가?
• RQ5 정확한 그림 기반 질문 응답을 위해 시각적 인지와 예술사적 지식을 어떻게 통합할 수 있는가?

주요 결과

• VIKING 모델은 AQUA 데이터셋에서 기존 최고 수준의 VQA 및 텍스트 QA 모델을 뛰어넘는 성능을 기록하여 향후 연구를 위한 강력한 기반을 확립함.
• VIKING의 모달리티 선택기는 테스트 샘플의 90퍼센트 이상에서 관련 브랜치(시각적 또는 지식 기반)를 정확히 선택함으로써 효과적인 모달리티 구분이 이루어졌음을 시사함.
• 외부 지식 검색을 위한 이중 단계 파이프라인은 전처리 및 n-gram 특징을 포함한 TF-IDF를 사용할 경우 R@10(상위 10개에서의 재현율)이 90.7%에 도달하며, BERT 기반 재정렬을 추가로 적용하면 동일한 90.7%로 향상됨.
• 시각적 및 지식 기반 브랜치를 모두 포함한 전체 VIKING 모델은 정확도 0.996을 기록함. 이는 지식 브랜치만 추가해도 유의미한 성능 향상이 없음을 의미하며, 두 모달리티 간 강력한 상호보완성이 있음을 시사함.
• 모델의 실패 사례는 대부분 다른 모달리티가 필요한 질문들로, 시스템이 모달리티 의존성을 정확히 인식하고 있음을 나타냄.
• 이 연구는 주요 제한 사항을 규명함: 자동 QA 생성은 질문의 다양성을 제한하며, 현실 세계 이미지에 대해 훈련된 객체 검출기들은 비현실적인 스타일에 어려움을 겪고, 지식 검색은 유일한 소스(SemArt 댓글)에 의존하여 독립적인 소스(예: 위키백과)와의 비교가 어려움.