[논문 리뷰] 2nd Place Solution to the GQA Challenge 2019

Shijie Geng, Ji Zhang외 3명|arXiv (Cornell University)|2019. 07. 16.

Multimodal Machine Learning Applications참고 문헌 23인용 수 6

한 줄 요약

이 논문은 GQA 챌린지 2019에서 2등을 차지한 솔루션을 제시하며, 한 장의 이미지에 대해 제기된 모든 질문들에서 고빈도 질문 단어의 통계적 특징을 활용하여 시각적 질의 응답(VQA)의 지식 기반으로 삼는 방법을 제안한다. 이 통계적 특징은 질문 빈도에서 유도된 것으로, 검출된 시각적 특징 대신 사용됨으로써 지표 특징에 가까운 성능을 달성하며, 이는 특징 추출이 시각적 추론의 주요 병목임을 보여주며, 추론 능력 자체는 아님을 시사한다.

ABSTRACT

We present a simple method that achieves unexpectedly superior performance for Complex Reasoning involved Visual Question Answering. Our solution collects statistical features from high-frequency words of all the questions asked about an image and use them as accurate knowledge for answering further questions of the same image. We are fully aware that this setting is not ubiquitously applicable, and in a more common setting one should assume the questions are asked separately and they cannot be gathered to obtain a knowledge base. Nonetheless, we use this method as an evidence to demonstrate our observation that the bottleneck effect is more severe on the feature extraction part than it is on the knowledge reasoning part. We show significant gaps when using the same reasoning model with 1) ground-truth features; 2) statistical features; 3) detected features from completely learned detectors, and analyze what these gaps mean to researches on visual reasoning topics. Our model with the statistical features achieves the 2nd place in the GQA Challenge 2019.

연구 동기 및 목표

• 복잡한 자연 이미지 데이터셋에서 시각적 질의 응답(VQA)의 성능 장벽이 특징 추출 능력인지, 추론 능력인지 파악하는 것.
• 지표 시각적 특징, 검출된 시각적 특징, 질문 빈도에서 유도된 통계적 특징을 사용했을 때의 성능 격차 평가.
• 높은 품질의 지식이 제공될 경우 추론 모델이 지표 성능에 가까운 성능을 달성할 수 있음을 보여주는 것, 즉 특징이 시각적으로 검출되지 않더라도 가능하다.
• 초위어 전파, 형용사/비형용사 분리, 동사 수그룹화와 같은 아키텍처 선택이 속성 및 관계 검출에 미치는 영향 분석.
• 특징 유형에 따른 분석 실험을 통해 자연 이미지에서의 시각적 인식의 어려움이 복잡한 추론보다 더 어렵다는 경험적 증거 제공.

제안 방법

• 모델은 시각적 특징 추출과 MAC(구성주의 주의망) 기반의 복합 추론을 수행하는 두 모듈로 구성된 파이프라인을 사용한다.
• 객체 검출에는 Faster R-CNN을 사용하며, 속성 및 관계 검출은 이전 연구를 참고해 수정된 손실 함수와 데이터 처리 방식을 적용한 커스텀 모델을 훈련한다.
• 객체 카테고리의 복수형은 단수형으로 정규화되어 mAP가 8.42에서 10.08로 향상된다.
• 초위어는 WordNet 계층을 따라 탐색하여 추론 시 추가되며, 카테고리가 참일 경우 그 초위어 역시 참임을 보장한다.
• 형용사 여부는 WordNet에서 비어 있지 않은 형용사 동위어 집합이 있는지 여부에 따라 결정되며, 이는 시각적 성질을 별도로 모델링할 수 있도록 한다.
• 관계 동사는 공간, 상호작용, 기타 유형으로 그룹화되며, 동사 동위어 집합 검사를 통해 상호작용 유형이 필터링된다.

실험 결과

연구 질문

• RQ1 VQA 모델의 성능 격차가 시각적 특징 추출의 한계인지, 추론 능력의 한계인지 여부는 무엇인가?
• RQ2 지표 특징, 검출된 특징, 질문 빈도에서 유도된 통계적 특징을 사용했을 때 추론 모델의 성능 변화는 어떻게 되는가?
• RQ3 질문 어휘의 통계적 패턴이 시각적 검출 오류를 얼마나 보완할 수 있는가?
• RQ4 초위어 전파 및 카테고리 그룹화와 같은 아키텍처 선택이 검출 정확도 및 후속 추론에 어떤 영향을 미치는가?
• RQ5 검출된 특징과 통계적 특징 간 성능 격차가 자연 이미지에서의 시각적 인식이 VQA의 주요 병목임을 시사하는가?

주요 결과

• 고빈도 질문 단어에서 유도된 통계적 특징을 사용한 MAC 모델은 검증 정확도 76.15%를 달성하여 지표 성능 81.14%에 근접하였다.
• 검출된 특징(62.98%)과 통계적 특징(76.15%) 사이의 성능 격차는 통계적 특징과 지표 특징 사이의 격차보다 훨씬 크며, 이는 검출 오류가 실패의 주요 원인임을 시사한다.
• MS-CA 모델은 통계적 특징을 사용했을 때 검증 정확도 69.67%를 기록하여, 강력한 추론 모델도 더 나은 지식 표현에서 상당한 이점을 얻음을 보여주었다.
• 분석 실험 결과, 특징 유형 간 성능 격차가 추론 모델 간 격차보다 더 크며, 이는 특징 품질이 모델 아키텍처보다 더 중요함을 시사한다.
• 추론 시 초위어 사용은 검출의 강건성을 향상시켰으며, 형용사와 비형용사 분리로 인해 속성 검출 성능 향상이 가능해져 더 집중적인 학습이 가능했다.
• 결과는 VQA의 병목이 추론 능력이 아니라 자연 이미지에서의 시각적 특징 추출의 부정확성임을 지지한다.