[논문 리뷰] Two Causal Principles for Improving Visual Dialog

Jiaxin Qi, Yulei Niu외 2명|arXiv (Cornell University)|2019. 11. 24.

Multimodal Machine Learning Applications참고 문헌 6인용 수 9

한 줄 요약

이 논문은 시각 대화(VisDial) 성능을 크게 향상시키기 위해 두 가지 모델에 종속되지 않는 인과적 원칙을 제안한다: (1) 답변 모델에 대화 기록을 직접 입력하는 것을 제거하여 단기적 편향을 제거하고, (2) 인과관계를 유도하는 관측되지 않은 혼동요인(user preference)을 고려하여 허위 상관관계를 줄인다. 이러한 원칙을 적용함으로써 기준 모델이 최신 기술 수준(SOTA) 성능에 도달하게 되었으며, VisDial v1.0에서 NDCG 74.91%를 기록하여 이전 SOTA보다 10个百分点 이상 높아졌다.

ABSTRACT

This paper unravels the design tricks adopted by us, the champion team MReaL-BDAI, for Visual Dialog Challenge 2019: two causal principles for improving Visual Dialog (VisDial). By "improving", we mean that they can promote almost every existing VisDial model to the state-of-the-art performance on the leader-board. Such a major improvement is only due to our careful inspection on the causality behind the model and data, finding that the community has overlooked two causalities in VisDial. Intuitively, Principle 1 suggests: we should remove the direct input of the dialog history to the answer model, otherwise a harmful shortcut bias will be introduced; Principle 2 says: there is an unobserved confounder for history, question, and answer, leading to spurious correlations from training data. In particular, to remove the confounder suggested in Principle 2, we propose several causal intervention algorithms, which make the training fundamentally different from the traditional likelihood estimation. Note that the two principles are model-agnostic, so they are applicable in any VisDial model. The code is available at https://github.com/simpleshinobu/visdial-principles.

연구 동기 및 목표

• 기존 VisDial 모델에서 간과된 인과적 결함를 식별하고 수정하여 성능 향상을 이끌어내는 것.
• 기본 아키텍처에서 대화 기록에서 답변으로의 직접 연결로 인해 발생하는 해로운 단기적 편향을 해결하는 것.
• 훈련 신호를 왜곡시키는 관측되지 않은 혼동요인—특히 사용자 선호도—를 모델링하고 그 영향을 완화하는 것.
• 구조적 개편 없이도 어떤 VisDial 모델이라도 향상시킬 수 있는 모델에 종속되지 않는 개입 방법을 개발하는 것.
• 강력한 시각 대화 시스템을 구축하기 위해 통계적 상관관계 외에도 인과적 추론이 필수적이라는 것을 입증하는 것.

제안 방법

• 원칙 1(P1): 대화 기록 H에서 답변 A로의 직접 인과 경로를 제거하여, 모델이 답변 길이나 단어 일치 단기적 편향을 암기하는 것을 방지한다.
• 원칙 2(P2): 질문 Q와 답변 A에 모두 영향을 주는 관측되지 않은 혼동요인 U(사용자 선호도)를 도입하고, 이를 인과적 간섭을 통해 모델링하여 허위 상관관계를 줄인다.
• 인과적 간섭 알고리즘은 표준 최대우도 추정을 넘어서 혼동요인 구조에 기반해 훈련 데이터를 재가중하는 데 사용된다.
• 이러한 방법들은 기존 VisDial 모델에 플러그인 모듈처럼 적용되어 모델에 종속되지 않으며 광범위하게 적용 가능하다.
• 프레임워크는 인과 그래프를 사용해 허위 경로 제거와 혼동요인 인지 구조 추가를 시각화하고 검증한다.
• 실험은 공식 VisDial v1.0 테스트-std 세트와 온라인 평가 서버를 사용하여 성능 향상 여부를 검증한다.

실험 결과

연구 질문

• RQ1 리더보드 성능이 높음에도 불구하고 기존 VisDial 모델이 일반화에 실패하는 이유는 무엇인가?
• RQ2 VisDial에서 단기적 학습을 유도하는 데이터 생성 및 모델 설계의 인과적 결함는 무엇인가?
• RQ3 관측되지 않은 혼동요인—사용자 선호도—가 VisDial 훈련에서 허위 상관관계를 어떻게 유도하는가?
• RQ4 모델에 종속되지 않는 인과적 간섭이 다양한 VisDial 아키텍처에서 성능 향상에 기여하는가?
• RQ5 인과적 원칙이 시각 대화 시스템에서 단어 일치 및 답변 길이 편향을 어느 정도 감소시키는가?

주요 결과

• 기준 모델에 두 인과적 원칙(P1 및 P2)을 적용함으로써 VisDial v1.0에서 NDCG가 약 64.47%에서 74.91%로 상승하여 이전 SOTA를 넘어서는 큰 성과를 달성했다.
• H→A 경로 제거(P1)로 인해 상위 10개 예측에서 기록 기록과의 단어 일치 수가 약 10% 감소하여 약 5,200건에서 약 4,800건으로 감소했다.
• 정답이 '아니요'일 경우 '예'의 평균 순위가 기준 모델의 4.82에서 P1 적용 후 6.63으로 상승하여 기록 단어에 대한 편향이 감소한 것으로 나타났다.
• P2를 적용한 모델는 정답 '예'와 함께 의미적으로 유사한 답변(예: '예, 그는 그렇습니다', '예 그는 그렇습니다')를 더 잘 랭킹하여 NDCG 향상에 기여했다.
• P1+P2를 단일 모델로 구현한 경우에도 71.60% NDCG를 기록하여 동일한 테스트 세트에서 이전 SOTA 앙상블 모델(72.80%)을 초월했다.
• 2019년 시각 대화 챌린지에서 최고 성능을 기록한 모델(75.13% NDCG)은 본 논문에서 설명된 방법과 유사한 밀도적 미세조정 기법을 사용하여 제안 원칙의 실용적 영향력을 확인했다.