[논문 리뷰] TAB-VCR: Tags and Attributes based VCR Baselines

Jingxiang Lin, Unnat Jain외 1명|arXiv (Cornell University)|2019. 10. 31.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

이 논문은 시각적 속성과 더 나은 텍스트-이미지 기반을 통합함으로써 VCR 작업에서 성능을 향상시키는 간소화된 그러나 더 효과적인 시각적 추론 모델인 TAB-VCR을 제안한다. 복잡한 기준 모델을 단순화하고 특징 정렬을 향상시킴으로써 TAB-VCR는 파rameter 수를 50% 줄였음에도 불구하고 질문 응답, 답변 근거 제공, 통합 VCR 각각 5.3%, 4.4%, 6.5% 향상시키며 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Reasoning is an important ability that we learn from a very early age. Yet, reasoning is extremely hard for algorithms. Despite impressive recent progress that has been reported on tasks that necessitate reasoning, such as visual question answering and visual dialog, models often exploit biases in datasets. To develop models with better reasoning abilities, recently, the new visual commonsense reasoning(VCR) task has been introduced. Not only do models have to answer questions, but also do they have to provide a reason for the given answer. The proposed baseline achieved compelling results, leveraging a meticulously designed model composed of LSTM modules and attention nets. Here we show that a much simpler model obtained by ablating and pruning the existing intricate baseline can perform better with half the number of trainable parameters. By associating visual features with attribute information and better text to image grounding, we obtain further improvements for our simpler & effective baseline, TAB-VCR. We show that this approach results in a 5.3%, 4.4% and 6.5% absolute improvement over the previous state-of-the-art on question answering, answer justification and holistic VCR. Webpage: https://deanplayerljx.github.io/tabvcr/

연구 동기 및 목표

• 복잡한 아키텍처에 의존하는 것을 줄이기 위해 더 단순하고 효율적인 시각적 공리적 추론 모델을 개발하는 것.
• 시각적 속성 통합과 텍스트-이미지 기반 향상으로 추론 성능을 향상시키는 것.
• 모델 복잡성을 줄이면서도 기존 베이스라인을 초월하는 VCR 벤치마크 성능을 달성하는 것.
• 특징 정렬과 추론 일관성을 강화하여 시각적 추론에서의 데이터셋 편향을 완화하는 것.

제안 방법

• 기존 VCR 기준 모델의 단순화된 버전에서 시작하여 학습 가능한 파rameter 수를 절반으로 줄인다.
• 표현 품질을 향상시키기 위해 시각적 특징에 속성 정보를 연결함으로써 특징을 풍부하게 한다.
• 질문과 시각적 영역 간의 더 정밀한 정렬 메커니즘을 통해 텍스트-이미지 기반을 향상시킨다.
• 경량 아키텍처를 사용하여 LSTM과 어텐션 모듈을 조합하며, 효율성과 추론 정확도를 최적화한다.
• 최종 모델인 TAB-VCR는 질문 응답과 근거 제공을 위한 공동 최적화를 통해 VCR 데이터셋에서 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 매우 단순화된 모델이 복잡한 최신 기술 수준의 기준 모델을 능가할 수 있는가?
• RQ2 시각적 속성 통합이 VCR에서 추론 성능에 어떤 영향을 미치는가?
• RQ3 개선된 텍스트-이미지 기반은 답변 근거 제공과 통합 추론을 얼마나 향상시키는가?
• RQ4 추론 정확도를 희생시키지 않고도 모델 효율성을 향상시킬 수 있는가?

주요 결과

• TAB-VCR는 이전 최신 기술 수준 성능보다 질문 응답 과제에서 절대값 5.3% 향상되었다.
• 모델는 근거 제공 정확도를 절대값 4.4% 향상시켜 더 강력한 추론 능력을 보였다.
• 통합 VCR 벤치마크에서 절대값 6.5% 향상이 관찰되어 종합적인 우수한 성능을 입증했다.
• 학습 가능한 파rameter 수가 절반에 불과함에도 불구하고 TAB-VCR는 원래의 복잡한 기준 모델을 능가했다.
• 시각적 속성 통합과 강화된 기반은 모든 평가 지표에서 일관된 성능 향상을 이끌어냈다.