[논문 리뷰] Learning to Count Objects in Natural Images for Visual Question Answering

Yan Zhang, Jonathon Hare외 1명|arXiv (Cornell University)|2018. 02. 15.

Multimodal Machine Learning Applications참고 문헌 25인용 수 155

한 줄 요약

이 논문은 객체 제안을 중복 제거하는 미분 가능 카운팅 컴포넌트를 도입하여 VQA의 소프트 어텐션으로부터 견고한 카운팅을 가능하게 하며, VQA v2의 number 질문에서 최첨단 정확도를 달성하고 다른 카테고리의 성능 저하 없이 카운팅 중심 지표를 향상시킨다.

ABSTRACT

Visual Question Answering (VQA) models have struggled with counting objects in natural images so far. We identify a fundamental problem due to soft attention in these models as a cause. To circumvent this problem, we propose a neural network component that allows robust counting from object proposals. Experiments on a toy task show the effectiveness of this component and we obtain state-of-the-art accuracy on the number category of the VQA v2 dataset without negatively affecting other categories, even outperforming ensemble models with our single model. On a difficult balanced pair metric, the component gives a substantial improvement in counting over a strong baseline by 6.6%.

연구 동기 및 목표

• 표준 소프트 어텐션으로 VQA에서 카운팅이 왜 어려운지 식별한다.
• 객체 제안을 중복 제거하는 미분 가능 카운팅 컴포넌트를 개발한다.
• 주의(attention)를 사용하여 기존 VQA 모델과 카운팅 컴포넌트를 통합한다.
• VQA v2 및 토이 카운팅 태스크에서 향상된 카운팅 성능을 입증한다.
• 중첩되는 제안에 대한 강건성을 보이되 비카운트 성능을 희생하지 않는다.

제안 방법

• 주의 가중치가 적용된 객체 제안을 A = a a^T인 외적을 통해 그래프로 변환하고 제안을 노드로, 중첩을 간선으로 표현한다.
• IoU를 기반으로 한 거리 행렬 D로 A를 마스킹하여 객체 내 중복 엣지를 제거하고, 부분 중첩을 다루기 위해 미분 가능한 활성화 함수를 사용한다(tilde A = f1(A) ⊙ f2(D)).
• 각 제안에 대해 유사도 기반 스케일링 s_i를 계산하여 기저 객체 수를 추정한 다음, 간선에 따라 스케일링되는 카운트 행렬 C를 형성한다 (C = tildeA ⊙ s s^T + diag(s ⊙ f1(a ⊙ a))).
• E에서 카운트 c를 추정한다, c = sqrt(|E|) 이고 |E| = sum(C_ij); 인접 정수 사이의 보간으로 수를 인코딩하는 카운트 벡터 o를 출력한다.
• 선택적으로 주의 및 중첩統計로부터 신뢰도 인자를 계산하여 최종 출력을 스케일링한다 (õ = f8(p_a + p_D) · o).
• 상용 VQA 모델과 카운팅 컴포넌트를 통합하기 위해 top-n 어텐션 가중치를 입력하고 컴포넌트의 출력을 보조 특징으로 사용한다.

실험 결과

연구 질문

• RQ1 객체 제안에 작동하는 미분 가능 카운팅 메커니즘이 VQA의 소프트 어텐션의 카운팅 한계를 극복할 수 있는가?
• RQ2 중첩되거나 중복된 객체 제안을 미분 가능하게 중복 제거하여 실제 객체 수를 복원할 수 있는 방법은?
• RQ3 카운팅 컴포넌트를 포함시키면 다른 VQA 카테고리에 대한 성능 저하 없이 카운팅 질문이 개선되는가?
• RQ4 실제로 토이 카운팅 태스크와 VQA v2 number 카테고리에서 카운팅 컴포넌트의 성능은 어떠한가?

주요 결과

• 카운팅 컴포넌트는 어텐션 맵으로부터 견고한 카운팅을 가능하게 하며 표준 VQA 모델과 통합될 수 있다.
• VQA v2에서 카운팅 기능이 있는 모델은 number 질문에서 베이스라인보다 정확도가 높고, 카운팅 컴포넌트를 사용하는 단일 모델로 일부 8-model ensembles를 능가할 수 있다.
• 이 접근 방식은 카운팅 중심 지표를 향상시키며, 특히 카운팅용 어려운 밸런스된 페어 메트릭에서 6.6%의 큰 개선을 보인다.
• 토이 카운팅 태스크에 대한 실험은 중간 정도의 중첩에서 특히, 다양한 중첩 및 노이즈 조건에 대해 단순 attention-sum 베이스라인보다 우수함을 보인다.
• 정성적 분석은 학습된 활성화 함수가 데이터셋 매개변수에 적응함을 지시하며, 카운팅 동작의 해석 가능성을 뒷받침한다.