[논문 리뷰] NLX-GPT: A Model for Natural Language Explanations in Vision and Vision-Language Tasks

Fawaz Sammani, Tanmoy Mukherjee외 1명|arXiv (Cornell University)|2022. 03. 09.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

NLX-GPT는 질문에 대한 답변 예측과 자연어 설명 생성을 통합한 단일, 컴팩트한 언어 모델을 제안한다. 답변 예측을 텍스트 생성 작업으로 재구성함으로써 별도의 작업 모델이 필요 없이 시각 및 시각-언어 작업에서 동시에 정답을 예측하고 자연어 설명을 생성한다. 이로 인해 VQA-X, ACT-X, e-SNLI-VE에서 최신 기술 수준(SoTA) 성능을 달성하면서 추론 속도가 15배 빨라지고 메모리 사용량도 감소하였으며, 설명 품질을 평가하기 위한 두 가지 새로운 자기 평가 프레임워크를 도입하였다.

ABSTRACT

Natural language explanation (NLE) models aim at explaining the decision-making process of a black box system via generating natural language sentences which are human-friendly, high-level and fine-grained. Current NLE models explain the decision-making process of a vision or vision-language model (a.k.a., task model), e.g., a VQA model, via a language model (a.k.a., explanation model), e.g., GPT. Other than the additional memory resources and inference time required by the task model, the task and explanation models are completely independent, which disassociates the explanation from the reasoning process made to predict the answer. We introduce NLX-GPT, a general, compact and faithful language model that can simultaneously predict an answer and explain it. We first conduct pre-training on large scale data of image-caption pairs for general understanding of images, and then formulate the answer as a text prediction task along with the explanation. Without region proposals nor a task model, our resulting overall framework attains better evaluation scores, contains much less parameters and is 15$ imes$ faster than the current SoA model. We then address the problem of evaluating the explanations which can be in many times generic, data-biased and can come in several forms. We therefore design 2 new evaluation measures: (1) explain-predict and (2) retrieval-based attack, a self-evaluation framework that requires no labels. Code is at: https://github.com/fawazsammani/nlxgpt.

연구 동기 및 목표

• 기존의 NLE 모델에서 추론과 설명 간의 단절 문제를 해결하기 위해 별도의 작업 모델과 설명 모델을 사용하는 방식을 개선한다.
• 전용 시각-언어 작업 모델이 필요 없도록 하여 메모리 및 추론 오버헤드를 줄인다.
• 답변 생성과 설명 생성을 함께 훈련시킴으로써 설명의 신뢰성과 일관성을 향상시킨다.
• 인간 애너테이션 없이도 설명의 정확성, 추론 능력, 편향 여부를 평가할 수 있는 레이블 없는 평가 프레임워크를 개발한다.
• 단일이고 컴팩트한 모델이 다단계 최신 기술 수준의 접근 방식보다 속도와 성능 면에서 뛰어나다는 것을 입증한다.

제안 방법

• 언어 모델을 사용하여 답변 예측과 설명 생성을 하나의 텍스트 생성 작업으로 통합한다.
• 일반적인 시각적 및 언어적 이해를 학습하기 위해 대규모 이미지-캡션 쌍으로 모델을 사전 훈련한다.
• 이미지를 인코딩하기 위해 시각 인코더(예: CLIP ViT)를 사용하고, 인코딩된 시각적 특징을 언어 모델의 조건으로 삼는다.
• 교차 attention 메커니즘을 사용해 시각적 특징과 답변 및 설명 토큰 간의 정렬을 위해 엔드 투 엔드로 훈련한다.
• 두 가지 자기 평가 프레임워크를 도입한다: (1) explain-predict는 답변 예측 성능을 통해 설명 품질을 측정하고, (2) 리트리ieval 기반 공격(retrieval-based attack)은 지표 설명과의 유사도를 통해 설명의 신뢰성(faithfulness)을 평가한다.
• 답변 및 설명 생성을 위한 교차 엔트로피 손실을 통합한 유일한 손실 함수를 사용하여 공동 최적화를 가능하게 한다.

Figure 1 : A comparison between previous models (left) and ours (right). Our model solely requires a visual encoder and a language model. We model the answer as a text prediction task along with the explanation. Best viewed in color.

실험 결과

연구 질문

• RQ1 별도의 작업 모델 없이도 단일이고 컴팩트한 언어 모델이 정확한 답변과 충실한 자연어 설명을 동시에 생성할 수 있는가?
• RQ2 답변 생성과 설명 생성을 함께 훈련할 경우, 별도로 훈련하는 방식에 비해 설명의 충실성과 추론 일관성이 어떻게 향상되는가?
• RQ3 explain-predict 및 리트리ieval 기반 공격과 같은 자기 평가 프레임워크가 인간 애너테이션 없이도 효과적으로 설명 품질을 측정할 수 있는가?
• RQ4 이미지-캡션 데이터로의 사전 훈련이 하류 NLE 작업의 성능에 얼마나 기여하는가?
• RQ5 다양한 시각 인코더(ViT, ResNet, DeiT 등)가 통합된 NLX-GPT 프레임워크의 성능에 어떤 영향을 미치는가?

주요 결과

• NLX-GPT는 VQA-X, ACT-X, e-SNLI-VE 벤치마크에서 최신 기술 수준(SoTA) 성능을 달성하였으며, 대부분의 지표에서 이전의 SoA 모델을 능가한다.
• 기존의 다단계 NLE 모델이 별도의 작업 및 설명 모델을 사용하는 데 비해, NLX-GPT는 15배 더 빠르고 메모리 사용량도 크게 줄였다.
• 이미지-캡션 데이터로의 사전 훈련이 성능 향상에 상당한 기여를 하였으며, CLIP 시각 트랜스포머가 모든 작업에서 최고의 성능을 기록하였다.
• explain-predict 평가 프레임워크는 고품질의 설명이 더 나은 답변 예측 성능을 이끌어내며, 모델의 내부 일관성을 검증하였다.
• 리트리ieval 기반 공격 프레임워크는 NLX-GPT가 낮은 내부 거리( intra-distance ) 스코어를 기록함으로써 더 높은 충실성과 낮은 편향을 가진 설명을 생성한다는 것을 보여주었다.
• 절단 실험(Ablation studies) 결과, 사전 훈련과 시각 인코더의 선택이 최종 성능에 중대한 영향을 미치며, CLIP ViT가 ResNet-101과 바텀업 특징보다 뛰어난 성능을 보였다.

Figure 2 : A schema of the proposed NLX-GPT model. At test time, we supply the question and ¡bos¿ token, and start generating the answer and explanation