[논문 리뷰] Compact Trilinear Interaction for Visual Question Answering

Tuong Do, Thanh-Toan Do외 3명|arXiv (Cornell University)|2019. 09. 26.

Multimodal Machine Learning Applications참고 문헌 42인용 수 13

한 줄 요약

이 논문은 시각질문응답(VQA)에서 이미지, 질문, 답변 표현 간의 고수준 연관성을 함께 학습하기 위해, 계산 복잡도를 감소시키기 위해 PARALIND 텐서 분해를 사용하는 컴act trilinear interaction (CTI) 모델을 제안한다. 이 방법은 TDIUC, VQA-2.0, Visual7W에서 최신 기술 수준의 성능을 달성하며, 객체 기반 특징을 사용해 Visual7W에서 72.3%의 정확도를 기록하고, 지식 정착을 도입하여 자유형 VQA 추론에 적합한 trilinear 모델을 구현한다.

ABSTRACT

In Visual Question Answering (VQA), answers have a great correlation with question meaning and visual contents. Thus, to selectively utilize image, question and answer information, we propose a novel trilinear interaction model which simultaneously learns high level associations between these three inputs. In addition, to overcome the interaction complexity, we introduce a multimodal tensor-based PARALIND decomposition which efficiently parameterizes trilinear interaction between the three inputs. Moreover, knowledge distillation is first time applied in Free-form Opened-ended VQA. It is not only for reducing the computational cost and required memory but also for transferring knowledge from trilinear interaction model to bilinear interaction model. The extensive experiments on benchmarking datasets TDIUC, VQA-2.0, and Visual7W show that the proposed compact trilinear interaction model achieves state-of-the-art results when using a single model on all three datasets.

연구 동기 및 목표

• 기존 VQA 방법들이 답변을 수동적인 분류 대상으로만 간주하여 이미지, 질문, 답변 간의 명시적 공동 모델링이 부족한 문제를 해결하기 위해.
• 세 모odal 간의 전체 트릴리너 인터랙션의 높은 계산 및 메모리 비용을 해결하기 위해.
• 자유형 개방형 VQA에 효과적으로 트릴리너 인터랙션을 적용하기 위해, 추론 시 답변이 제공되지 않는 환경에서도 활용 가능하도록 하기 위해.
• 이미지, 질문, 답변의 세 입력 간의 고수준 연관성을 동시에 명시적으로 모델링하여 VQA 성능을 향상시키기 위해.

제안 방법

• 이미지, 질문, 답변 특징 간의 상호작용을 삼중선형 형태로 모델링하는 컴팩트 트릴리너 인터랙션(CTI) 레이어를 제안: $ z^T = (\mathcal{T} \times_1 \text{vec}(V)) \times_2 \text{vec}(Q) \times_3 \text{vec}(A) $, 여기서 $\mathcal{T}$ 는 학습 가능한 텐서이다.
• 트릴리너 인터랙션 텐서를 더 작은, 저랭크 성분들로 분해하기 위해 PARALIND 텐서 분해를 적용하여, 매개변수 수를 약 2.2조에서 약 3369만으로 감소시킨다.
• 삼중선형 상호작용을 효율적으로 근사하기 위해 저랭크 행렬 $W_{z_v}$, $W_{z_q}$, $W_{z_a}$ 를 사용하는 매개변수 분해 전략을 도입한다.
• 이미지와 질문 영역 간의 상호작용을 동적으로 가중하기 위해 $\mathcal{M} = \sum_{r=1}^R \llbracket \mathcal{G}_r; V^T W_{v_r}, Q^T W_{q_r} \rrbracket $ 로 계산된 어텐션 맵 $\mathcal{M}$ 을 활용한다.
• 트릴리너 모델(학습 시 답변이 필요)의 지식을 답변 없이도 사용 가능한 이중선형 모델(추론용)으로 이전하기 위해 지식 정착을 적용한다. 이를 통해 자유형 VQA에의 적용이 가능해진다.
• 이중 단계 훈련 파이프라인을 활용: 먼저 세 입력 모두를 사용해 전체 CTI 모델을 훈련하고, 이후 그 지식을 이중선형 모델로 정착시켜 테스트 데이터 추론에 활용한다.

실험 결과

연구 질문

• RQ1 이미지, 질문, 답변 표현 간의 명시적 공동 모델링이 수동적인 답변 분류 대비 VQA 성능 향상에 기여하는가?
• RQ2 PARALIND 텐서 분해가 성능 손실 없이 트릴리너 인터랙션의 계산 및 메모리 비용을 효과적으로 감소시킬 수 있는가?
• RQ3 지식 정착이 트릴리너 모델(학습 시 답변이 필요)의 지식을 답변 없이도 사용 가능한 이중선형 모델(자유형 VQA에서 활용 가능)로 성공적으로 이전할 수 있는가?
• RQ4 제안된 컴팩트 트릴리너 인터랙션은 다양한 벤치마크 VQA 데이터셋에서 기존 최신 기술 수준의 방법들을 초월하는가?

주요 결과

• 제안된 CTI 모델은 TDIUC 테스트 세트에서 69.3%의 정확도를 기록하여, 이전 최신 기술 수준의 BAN2(67.5%) 및 STL(68.2%)를 초월한다.
• VQA-2.0 검증 세트에서 CTI 모델은 69.3%의 탑-1 정확도를 달성하여, MCB(62.2%) 및 fPMC(66.0%)를 능가한다.
• Visual7W 테스트 세트에서 CTI 모델은 객체 기반 특징(바텀업 특징)을 사용해 72.3%의 정확도를 기록하며, 이는 이전 최신 기술 수준인 STL(68.2%)보다 4.1%p 향상된 성능이다.
• PARALIND 분해로 인해 트릴리너 인터랙션의 매개변수 수가 약 2.2조에서 3369만으로 감소하여, 약 65,280배의 압축률을 달성한다.
• 지식 정착 접근법을 통해 트릴리너 모델의 지식이 이중선형 모델로 효과적으로 이전되어, 답변이 제공되지 않는 자유형 VQA 환경에서도 적용 가능하게 되었다.
• 컴팩트 트릴리너 인터랙션은 BAN을 일반화하여 이중선형 어텐션 메커니즘에 답변 특징을 포함하고, 세 모달 간의 공동 학습을 가능하게 하였다.