[논문 리뷰] DualNet: Domain-Invariant Network for Visual Question Answering

Kuniaki Saito, Andrew Shin외 2명|arXiv (Cornell University)|2016. 06. 20.

Multimodal Machine Learning Applications참고 문헌 19인용 수 16

한 줄 요약

DualNet는 주의 메커니즘을 사용하지 않고도 실사 이미지와 추상적 장면 양쪽에서 뛰어난 성능을 내는 도메인 불변 시각질문응답 모델을 제안한다. 이미지 및 텍스트 특징을 별도로 덧셈과 곱셈 연산을 통해 융합함으로써 특징 융합을 향상시키며, 이는 실사 이미지와 추상적 장면 양쪽에서 최고 성능을 달성한다. 이는 이전의 최고 성능 모델, 특히 2016년 VQA 챌린지에서의 자신의 이전 SOTA(73.29)를 초월한 74.02의 성능으로도 입증된다.

ABSTRACT

Visual question answering (VQA) task not only bridges the gap between images and language, but also requires that specific contents within the image are understood as indicated by linguistic context of the question, in order to generate the accurate answers. Thus, it is critical to build an efficient embedding of images and texts. We implement DualNet, which fully takes advantage of discriminative power of both image and textual features by separately performing two operations. Building an ensemble of DualNet further boosts the performance. Contrary to common belief, our method proved effective in both real images and abstract scenes, in spite of significantly different properties of respective domain. Our method was able to outperform previous state-of-the-art methods in real images category even without explicitly employing attention mechanism, and also outperformed our own state-of-the-art method in abstract scenes category, which recently won the first place in VQA Challenge 2016.

연구 동기 및 목표

• 실사 이미지와 추상적 장면을 포함한 다양한 도메인에서 효과적으로 일반화되는 시각질문응답 모델을 개발하는 것.
• 주의 메커니즘에 의존하지 않고 이미지 및 텍스트 모odal 간의 특징 융합을 향상시키는 것.
• 양 모달에서의 구분 능력 있는 특징을 최대한 활용하는 단순하면서도 강력한 아키텍처를 설계하는 것.
• 실사 이미지 및 추상적 장면 VQA 벤치마크에서 최고 성능을 달성하는 것.
• 최소한의 아키텍처 복잡성으로도 도메인 불변 표현 학습이 가능하다는 것을 입증하는 것.

제안 방법

• DualNet는 이미지 및 텍스트 특징에 대해 덧셈과 곱셈이라는 두 가지 별도의 연산을 수행하여 상호보완적인 표현을 생성한다.
• 덧셈 및 곱셈 브랜치의 출력은 연결되어 최종 분류기로 입력되어 답변 예측을 수행한다.
• 다양한 은닉 차원을 가진 DualNet 모델의 앙상블을 구성하여 안정성과 성능을 향상시킨다.
• 이 방법은 이미지에 대해 VGG 또는 ResNet 특징을, 질문에 대해 LSTM 임bedded 특징을 사용하며, 공간적 주의 또는 영역 수준의 지도 학습을 사용하지 않는다.
• 특징 융합은 공유된 임bedding 공간에서 수행되어 시각적 및 언어적 입력의 통합 이해를 가능하게 한다.
• 표준 VQA 데이터셋에서 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 단순하고 주의 메커니즘을 사용하지 않는 모델이 실사 이미지와 추상적 장면 양쪽에서 최고 성능을 달성할 수 있는가?
• RQ2 이미지-텍스트 특징에 덧셈과 곱셈 연산을 병행 적용할 경우, 단일 연산을 사용하는 것보다 더 나은 표현 학습이 가능한가?
• RQ3 기본적으로 다른 시각적 특성을 지닌 도메인 간에 단일 아키텍처가 효과적으로 일반화될 수 있는가?
• RQ4 복잡한 주의 메커니즘 없이도 기존 최고 성능 모델을 초월할 수 있는가?
• RQ5 다양한 차원을 가진 모델 앙상블이 추상적 장면과 같이 데이터가 적은 환경에서 성능에 어떤 영향을 미치는가?

주요 결과

• DualNet는 주의 메커니즘 없이도 실사 이미지 분류에서 기존 최고 성능 모델을 초월하여 테스트-std 분할에서 69.73의 성능을 기록했다.
• 추상적 장면 분류에서는 테스트-std 분할에서 74.02의 성능을 기록하여 이전의 SOTA(73.29)와 자신의 이전 SOTA(73.29)를 모두 초월했다.
• 다양한 차원을 가진 DualNet 모델 앙상블은 단일 모델 대비 추상적 장면 테스트-std 분할에서 0.76점 향상된 성능을 기록했다.
• 곱셈 전용 브랜치는 59.15의 정확도를 기록한 반면, 덧셈 전용 브랜치는 56.81에 머물러, 곱셈이 더 많은 구분 능력 있는 정보를 포착하고 있음을 보여준다.
• 덧셈과 곱셈 경로를 모두 결합함으로써 성능 향상이著명하게 발생하여, 서로 보완적인 정보 추출이 이루어짐을 입증했다.
• 다른 시각적 특성을 지닌 두 도메인 모두에서 강력한 성능을 기록함으로써, 단순한 특징 융합을 통한 도메인 불변성의 가능성을 입증했다.