[논문 리뷰] Visual Question Answering with Memory-Augmented Networks

Chao Ma, Chunhua Shen외 5명|arXiv (Cornell University)|2017. 07. 17.

Multimodal Machine Learning Applications참고 문헌 45인용 수 15

한 줄 요약

이 논문은 희귀한 답변 유형에 대한 성능을 향상시키기 위해 내부 메모리와 외부 메모리를 모두 활용하여 희귀한 훈련 예제의 장기 지속 지식을 유지하는 메모리 증강 신경망을 제안한다. 이미지와 텍스트에 대한 공통 주의 메커니즘과 주의 게이팅 메모리 액세스를 조합함으로써, 이 모델은 VQA v1.0과 VQA v2.0에서 최신 기술을 초월하며, 특히 미세한 희귀 개념 이해가 필요한 질문에서 뛰어난 성능을 보인다.

ABSTRACT

In this paper, we exploit a memory-augmented neural network to predict accurate answers to visual questions, even when those answers occur rarely in the training set. The memory network incorporates both internal and external memory blocks and selectively pays attention to each training exemplar. We show that memory-augmented neural networks are able to maintain a relatively long-term memory of scarce training exemplars, which is important for visual question answering due to the heavy-tailed distribution of answers in a general VQA setting. Experimental results on two large-scale benchmark datasets show the favorable performance of the proposed algorithm with a comparison to state of the art.

연구 동기 및 목표

• 답변의 긴 꼬리 분포로 인해 희귀 답변 예측 문제를 해결하기 위해.
• 낮은 빈도로 발생하는 개념들이 훈련 데이터에서 자주 생략되기 때문에, 희귀 개념에 대한 VQA 성능 향상을 위해.
• 희귀한 훈련 예제를 선택적으로 유지하고 회수할 수 있는 메모리 증강 아키텍처를 개발하기 위해.
• 이미지와 텍스트 간의 공통 주의 메커니즘과 외부 메모리를 통합하여 희귀한 시각적 및 언어적 개념에 대한 추론 능력을 향상시키기 위해.
• 명시적인 메모리 메커니즘이 장기 꼬리 VQA 시나리오에서 표준 엔드 투 엔드 딥 러닝 모델보다 우수한 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• 공통 주의 메커니즘을 사용하여 관련 이미지 영역과 질문에서 중요한 단어에 주의를 기울이며, 이미지 및 질문 특징을 함께 임bedding한다.
• 모델은 내부 메모리(기본 LSTM 내부)와 외부 메모리 블록을 관리하기 위해 LSTM 기반 제어기(컨트롤러)를 사용한다. 이는 훈련 예제의 장기 저장을 위해 사용된다.
• 외부 메모리는 현재 입력과 유사도를 기반으로 관련 훈련 예제를 우선순위로 정렬하는 주의 메커니즘을 통해 액세스된다.
• 메모리 네트워크는 외부 메모리에서 선택적으로 읽기 또는 쓰기 기능을 수행함으로써, 훈련 중에 드물게 발생하는 희귀한 답변 패턴을 유지할 수 있다.
• 최종 메모리 증강 LSTM 히든 상태는 답변 예측을 위한 다중 레이블 분류기 학습을 위한 통합된 이미지-질문 표현으로 사용된다.
• 모델은 사전 학습된 단어 임베딩에 의존하지 않고, 답변 분류에 대한 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 메모리 증강 네트워크는 훈련 데이터에 비해 희귀하게 나타나는 답변 유형에 대한 VQA 성능 향상에 기여할 수 있는가?
• RQ2 내부 메모리와 외부 메모리를 함께 통합함으로써, VQA에서 희귀한 훈련 예제의 장기 유지 능력은 어떻게 향상되는가?
• RQ3 이미지와 텍스트 특징에 대한 공통 주의 메커니즘이 미세한 희귀 시각적 개념에 대한 추론 능력을 얼마나 향상시킬 수 있는가?
• RQ4 제안된 아키텍처는 장기 꼬리 VQA 시나리오에서 표준 딥 러닝 모델보다 우수한 성능을 낼 수 있는가?
• RQ5 모델은 명시적인 재훈련 없이도 희귀 개념을 포함한 분포 외 질문에 일반화할 수 있는가?

주요 결과

• 제안된 모델은 VQA v1.0 테스트-std 스플릿에서 62.3%의 상위 1위 정확도를 달성하여 이전 최신 기술을 초월한다.
• VQA v2.0 벤치마크에서 모델은 총 62.1%의 정확도를 기록했으며, MCB를 능가하고 더 복잡한 모델들과 동등한 성능을 보였다.
• Visual 7W Telling 데이터셋에서 모델은 사전 학습 없이 훈련했을 때 총 59.4%의 정확도를 달성하여 Visual 7W 기준선을 능가했다.
• 추가 VQA v1.0 데이터로 미세조정을 수행한 후, Visual 7W에서 총 62.8%의 정확도를 기록하여 강력한 일반화 능력을 입증했다.
• 정성적 결과 분석에서 모델은 '🥒🥒🥒'와 같은 희귀 개념에 대해 올바르게 주의를 기울였으며, 기준선 모델은 이러한 희귀 답변에서 실패했다.
• 모델은 새가 서 있는 물체를 식별하는 것과 같은 미세한 추론이 필요한 질문에도 불구하고, 정답 영역이 시각적으로 모호한 경우에도 정확하게 답변할 수 있었다.