[논문 리뷰] Question-Conditioned Counterfactual Image Generation for VQA

Jingjing Pan, Yash Goyal외 1명|arXiv (Cornell University)|2019. 11. 14.

Advanced X-ray and CT Imaging참고 문헌 14인용 수 11

한 줄 요약

이 논문은 시각질문응답(VQA)를 위한 질문 조건부 반사적 이미지 생성 프레임워크를 제안한다. 이 프레임워크는 VQA 모델이 다른 답변을 예측하도록 최소한의 편집이 가해지고 현실적인 이미지를 생성한다. 이미지, 질문, 참값 답변에 조건부로 작동하는 LingUNet 아키텍처를 사용하며, 적대적 손실, L2 손실, 교차 엔트로피 손실을 활용해 의미적으로 관련 있는 편집을 생성한다. 특히 색상과 관련된 질문에 대해 매우 효과적이며, VQA 정확도를 64.33%에서 57.64%로 낮추고 '어느 색인지' 질문에 대해서는 34.02%로 떨어뜨린다.

ABSTRACT

While Visual Question Answering (VQA) models continue to push the state-of-the-art forward, they largely remain black-boxes - failing to provide insight into how or why an answer is generated. In this ongoing work, we propose addressing this shortcoming by learning to generate counterfactual images for a VQA model - i.e. given a question-image pair, we wish to generate a new image such that i) the VQA model outputs a different answer, ii) the new image is minimally different from the original, and iii) the new image is realistic. Our hope is that providing such counterfactual examples allows users to investigate and understand the VQA model's internal mechanisms.

연구 동기 및 목표

• 모델의 흑상자 성격을 해결하기 위해, 모델 결정을 설명할 수 있는 반사적 이미지를 생성한다.
• 작은 이미지 변경이 어떻게 다른 답변을 유도하는지 보여주는 분별성 있고 인간이 이해할 수 있는 설명을 제공한다.
• 생성된 반사적 이미지가 원본과 최소한의 차이만 있고 시각적으로 현실적이게 보장한다.
• 이미지 편집을 질문에 정확히 조건화하여 관련성과 의미적 일관성을 확보한다.
• 통제된 변형을 통해 사용자가 VQA 모델 예측에 가장 영향을 주는 시각적 특징을 파악할 수 있도록 한다.

제안 방법

• 입력 이미지, 질문, 참값 답변에 조건부로 작동하는 LingUNet 아키텍처를 사용해 반사적 이미지를 생성한다.
• VQA 모델의 언어 인코딩과 최종 답변 로짓을 사용해 생성자에 조건을 걸며, 이를 완전히 연결된 신경망으로 통합한다.
• 세 가지 손실을 사용해 훈련한다: 원래 답변에서 멀어지도록 하는 교차 엔트로피 손실, 픽셀 수준의 차이를 최소화하는 L2 손실, 현실감을 확보하기 위한 GAN 판별자.
• 훈련 중에 기울기 클리핑과 소프트 레이블을 적용해 GAN 훈련을 안정화하고 적대적 아티팩트를 방지한다.
• 언어 조건화와 전체 손실 최적화를 도입하기 전에 생성자를 L2 손실만으로 온전히 초기화한다.
• 아티팩트(예: '딥 드림' 효과)를 방지하고 인지적 품질을 확보하기 위해 판별자를 미세조정한다.

실험 결과

연구 질문

• RQ1 시각적으로 현실적인 이미지를 유지하면서 VQA 모델의 예측을 원래 답변과 다를 수 있도록 반사적 이미지를 생성할 수 있는가?
• RQ2 생성된 편집이 입력 질문과 원래 답변에 대해 의미적으로 관련이 있는가?
• RQ3 생성된 편집이 인간의 의미적 변화 인식과 얼마나 일치하는가?
• RQ4 모델의 성능은 '어느 색인지' 질문과 다른 의미적 범주에 비해 어떻게 다를까? 특히 '어느 색인지' 질문에 대해선 어떻게 되는가?
• RQ5 편집이 관련된 이미지 영역에 국한되는가, 아니면 관련 없는 객체까지 과도하게 편집하는가?

주요 결과

• 검증 세트에서 반사적 이미지로 평가했을 때 VQA 모델 정확도가 64.33%에서 57.64%로 떨어져 의미적 변화가 효과적으로 발생했음을 시사한다.
• '어느 색인지' 질문에 대해서는 정확도가 72.64%에서 34.02%로 크게 떨어져 색상 기반 반사적 이미지 생성에 강력한 성능을 보였다.
• 색상 관련 질문에 대해 모델은 답변 예측을 성공적으로 변경했으며, VQA 시스템과 인간 평가자 모두 새로운 색상이 다름을 인지했다.
• 비색상 질문에 대해서는 모델이 예측을 의미적으로 바꾸지 못하거나 인간이 인지할 수 없는 편집을 하여 평가자 간 불일치가 발생했다.
• 관련 없는 영역(예: 그림 2c에서 셔츠 색상 변경)까지 과도하게 편집하는 현상이 관찰되어 편집의 공간적 국한성이 떨어지는 것으로 나타났다.
• 일부 출력에서 카드보드 아티팩트가 나타났지만, 광범위한 판별자 미세조정으로 적대적 아티팩트를 방지함으로써 전반적인 현실감은 유지되었다.