[논문 리뷰] Language bias in Visual Question Answering: A Survey and Taxonomy

Desen Yuan|arXiv (Cornell University)|2021. 11. 16.

Multimodal Machine Learning Applications참고 문헌 102인용 수 9

한 줄 요약

이 종합 검토는 시각질문응답(VQA)에서 언어 편향에 대한 첫 번째 종합적 분석을 제공하며, 외부 정보 강화, 언어 사전 확률 약화, 데이터 강화/학습 전략으로 나누어 편향 완화 기법을 분류한다. 언어 편향은 모델의 강건성 실패의 주요 원인임을 밝히며, 인과관계 기반 방법과 긴 꼬리 학습(long-tail learning)을 향후 fairness와 해석 가능성 향상에 핵심적인 방향으로 제안한다.

ABSTRACT

Visual question answering (VQA) is a challenging task, which has attracted more and more attention in the field of computer vision and natural language processing. However, the current visual question answering has the problem of language bias, which reduces the robustness of the model and has an adverse impact on the practical application of visual question answering. In this paper, we conduct a comprehensive review and analysis of this field for the first time, and classify the existing methods according to three categories, including enhancing visual information, weakening language priors, data enhancement and training strategies. At the same time, the relevant representative methods are introduced, summarized and analyzed in turn. The causes of language bias are revealed and classified. Secondly, this paper introduces the datasets mainly used for testing, and reports the experimental results of various existing methods. Finally, we discuss the possible future research directions in this field.

연구 동기 및 목표

• 시각질문응답(VQA)에서 언어 편향의 근본 원인과 표현 방식을 체계적으로 분석하기 위해.
• 기존 언어 편향 완화 기법을 세 가지 범주로 분류하기 위해: 시각적 신호 강화, 언어 사전 확률 약화, 데이터/학습 전략.
• 주류 VQA 데이터셋과 벤치마크 결과를 검토하여 편향 완화 기법의 성능을 평가하기 위해.
• 열린 과제를 식별하고 향후 연구 방향을 제안하기 위해, 특히 인과관계 모델링과 긴 꼬리 학습을 포함하여 모델의 공정성과 강건성을 향상시키기 위함.

제안 방법

• 기존 VQA 편향 완화 기법을 세 가지 주요 그룹으로 분류: 시각적 정보 강화, 언어 사전 확률 약화, 특수한 학습 전략을 포함한 데이터 증강.
• 최신 기술의 VQA 모델에서 사용되는 주요 네트워크 아키텍처를 검토하며, 시각과 언어 표현을 통합하는 다중모odal 융합 메커니즘에 중점을 둔다.
• 반사적 데이터 증강과 인과도 구성과 같은 인과관계 기반 접근법을 분석하여 이미지 내용과 질문-답변 쌍 간의 진정한 관계를 모델링한다.
• 희귀 답변 카테고리가 부족한 VQA 데이터셋의 긴 꼬리 분포 문제를 분석하여 언어 편향에 기여하는 요소를 규명한다.
• 외부 지식 기반 시스템이나 지식 그래프 통합이 편향된 학습 데이터에 대한 의존도를 줄이고 답변 일반화 능력을 향상시키는 데 효과적일 수 있음을 제안한다.
• 예를 들어 물체 색상을 변경하는 등의 대체 시나리오를 시뮬레이션하기 위해 반사적 사고를 활용하여, 모델이 비합리적인 언어적 상관관계를 무시하도록 훈련시키는 방법을 강조한다.

실험 결과

연구 질문

• RQ1 시각질문응답 시스템에서 언어 편향의 주요 원인과 유형은 무엇인가?
• RQ2 기존 방법들은 언어 편향을 어떻게 분류하고 완화하는가? 각 방법의 강점과 한계는 무엇인가?
• RQ3 데이터 분포의 불균형과 긴 꼬리 답변 카테고리가 VQA에서 언어 편향에 얼마나 기여하는가?
• RQ4 반사적 추론과 같은 인과관계 기반 방법이 진정한 이미지-질문 의존성 관계를 모델링함으로써 언어 편향을 효과적으로 줄일 수 있는가?
• RQ5 외부 지식 기반 시스템과 세밀한 레이블링은 언어 편향을 줄이고 모델 일반화 능력을 향상시키는 데 어떤 역할을 할 수 있는가?

주요 결과

• VQA에서 언어 편향은 주로 질문과 답변 사이의 비합리적 상관관계에서 기인하며, 이로 인해 모델이 시각적 내용보다 언어 패턴에 의존하게 된다.
• 이미지에 노란 바나나가 없더라도 모델이 종종 '노란색'을 예측하는 것은 언어적 단서 편향의 강력한 증거이다.
• 답변 레이블의 데이터 불균형과 긴 꼬리 분포가 특히 세밀한 시각적 특성에서 언어 편향을 악화시킨다.
• 반사적 데이터 증강과 같은 인과관계 기반 방법은 대체 시나리오를 모델링함으로써 비합리적 상관관계를 식별하고 감소시키는 데 잠재력이 있다.
• 외부 지식 기반 시스템 통합과 지식 그래프 활용은 편향된 학습 데이터에 대한 의존도를 줄이고 답변 다양성을 향상시키는 효과적인 전략으로 부상하고 있다.
• 현재 방법들은 희귀하거나 분포 외의 예측에 대해 일반화 능력이 여전히 떨어지며, 이는 더 강건하고 인과관계에 기반한 학습 프레임워크가 필요함을 시사한다.