[논문 리뷰] Structured Triplet Learning with POS-tag Guided Attention for Visual Question Answering

Zhe Wang, Xiaoyi Liu외 5명|arXiv (Cornell University)|2018. 01. 24.

Multimodal Machine Learning Applications인용 수 10

한 줄 요약

이 논문은 시각적 질문 응답에서 언어-시각 상호작용을 향상시키기 위해 의미적으로 유의미한 단어에 초점을 맞추고 이미지 영역, 질문, 답변을 함께 고려하는 POS 태그 기반 주의 구조적 트리플릿 학습 프레임워크를 제안한다. 이 방법은 Visual7W에서 68.2%의 최신 기술 성능을 달성하였으며, VQA 리얼 멀티플 챠이스의 테스트 표준 분할에서 69.6%의 성능을 기록한다.

ABSTRACT

Visual question answering (VQA) is of significant interest due to its potential to be a strong test of image understanding systems and to probe the connection between language and vision. Despite much recent progress, general VQA is far from a solved problem. In this paper, we focus on the VQA multiple-choice task, and provide some good practices for designing an effective VQA model that can capture language-vision interactions and perform joint reasoning. We explore mechanisms of incorporating part-of-speech (POS) tag guided attention, convolutional n-grams, triplet attention interactions between the image, question and candidate answer, and structured learning for triplets based on image-question pairs. We evaluate our models on two popular datasets: Visual7W and VQA Real Multiple Choice. Our final model achieves the state-of-the-art performance of 68.2% on Visual7W, and a very competitive performance of 69.6% on the test-standard split of VQA Real Multiple Choice.

연구 동기 및 목표

• 이미지-질문-답변 트리플릿의 구조적 모델링을 통해 언어-시각 상호작용을 향상시켜 시각적 질문 응답 성능을 향상시키는 것.
• 질문과 답변에서 잡음이 많거나 관련성이 없는 단어 문제를 해결하기 위해 품사 태깅(POS)을 활용해 주의 메커니즘을 유도하는 것.
• 구조적 트리플릿 손실을 사용한 하드 음성 샘플 마이닝을 통해 모델의 일반화 능력과 분류 능력을 향상시키는 것.
• 시각적 특징, 질문 단어, 후보 답변 단어를 동시에 고려하는 통합 주의 메커니즘을 개발하는 것.
• 외부 사전 훈련 데이터나 앙상블 방법에 의존하지 않고 표준 VQA 벤치마크에서 최신 기술 성능을 달성하는 것.

제안 방법

• 질문과 답변에서 저소실성 단어(예: 'and', 'or')를 억제하고 명사, 동사, 형용사와 같은 내용이 풍부한 단어에 초점을 맞추기 위해 POS 태그 기반 주의를 도입한다.
• 질문과 답변의 국소적 어구 수준 의미를 캡처하기 위해 컨볼루션 n-그램 모델을 사용하여 단어 수준 임베딩을 초월한 문장 표현을 향상시킨다.
• 질문/답변의 단어와 이미지 영역 간의 유사도 점수를 벡터 표현의 내적곱을 통해 계산하는 트리플릿 주의 메커니즘을 설계한다.
• 질문과 답변의 주의 계수를 요소별 풀링 및 정규화한 후 선형 조합을 통해 시각적 특징을 동적으로 가중한다.
• 마진 기반 하드 음성 샘플 마이닝 전략을 적용한 구조적 트리플릿 손실을 구현하며, 동일한 (이미지, 질문) 쌍을 사용해 정답과 오답 답변을 비교한다.
• 이미지 특징 추출을 위해 잔차 네트워크(ResNet)를 사용하고, 이와 함께 학습된 질문 및 답변 표현을 통합 추론 프레임워크에 통합한다.

실험 결과

연구 질문

• RQ1 품사 태깅은 시각적 질문 응답 모델의 주의 메커니즘에 어떻게 기여하는가?
• RQ2 질문, 답변, 시각적 특징을 트리플릿 주의 메커니즘을 통해 함께 모델링할 경우 어떤 영향을 미치는가?
• RQ3 하드 음성 샘플 마이닝을 통한 구조적 트리플릿 학습은 다중 선택형 VQA에서 모델의 일반화 능력과 성능 향상에 기여하는가?
• RQ4 국소적 n-그램 모델링의 통합은 VQA에서 문장 수준 이해를 어떻게 향상시키는가?
• RQ5 단일 비앙샘블 모델이 외부 사전 훈련 데이터 없이 Visual7W 및 VQA 벤치마크에서 최신 기술 성능을 달성할 수 있는 정도는 어느 정도인가?

주요 결과

• 제안된 모델은 Visual7W 벤치마크에서 기존 최신 기술 대비 1.1%p 향상된 68.2%의 최신 기술 정확도를 달성한다.
• VQA 리얼 멀티플 챠이스 데이터셋의 테스트 표준 분할에서 모델은 69.6%의 정확도를 기록하여 비교된 모든 단일 모델 기반 베이스라인을 초월한다.
• 시각화 결과는 POS 기반 주의가 모델이 관련 있는 이미지 영역과 의미적으로 중요한 단어에 집중하도록 도와주며, 불필요하거나 잡음이 많은 용어에 대한 주의를 감소시킨다는 것을 확인한다.
• 트리플릿 주의 메커니즘이 질문 및 답변 단어를 해당 시각적 영역와 정확히 정렬하여 공동 추론 능력을 향상시키고 잘못되거나 모호한 이미지 부분에 대한 주의를 줄이는 데 성공한다.
• 실패 사례 분석 결과, 정답과 오답 답변이 유사한 주의 패턴을 유도할 경우 주의가 잘못된 방향으로 유도될 수 있음을 확인하였으며, 이는 주의 정렬의 향후 개선이 필요함을 시사한다.
• 마진 기반 하드 음성 샘플 마이닝을 적용한 구조적 트리플릿 손실은 표준 교차 엔트로피 훈련 대비 모델의 분류 능력 향상에 기여함을 성능 향상으로 입증한다.