[논문 리뷰] Examining Cooperation in Visual Dialog Models

Mircea Mironenco, Dana Kianfar외 3명|arXiv (Cornell University)|2017. 12. 04.

Multimodal Machine Learning Applications참고 문헌 10인용 수 3

한 줄 요약

이 논문은 시각 대화 모델에서 언어적 요소와 시각적 요소의 기여도를 평가하기 위해 블랙박스 간섭 기법을 도입한다. 무작위 노이즈나 부정을 사용해 이미지 특징, 캡션, 대화 턴을 체계적으로 손상시키는 방식으로, 최신 모델이 시각적 입력이나 대화의 일관성에 거의 의존하지 않고 오히려 초반 캡션에 크게 의존하고 있음을 드러내며, 이는 에이전트 간 협력이 약하다는 것을 시사한다.

ABSTRACT

In this work we propose a blackbox intervention method for visual dialog models, with the aim of assessing the contribution of individual linguistic or visual components. Concretely, we conduct structured or randomized interventions that aim to impair an individual component of the model, and observe changes in task performance. We reproduce a state-of-the-art visual dialog model and demonstrate that our methodology yields surprising insights, namely that both dialog and image information have minimal contributions to task performance. The intervention method presented here can be applied as a sanity check for the strength and robustness of each component in visual dialog systems.

연구 동기 및 목표

• 시각 대화 시스템에서 언어적 요소와 시각적 요소의 개별 기여도를 평가하기 위한 모델에 종속되지 않는 방법을 개발하는 것.
• 시각 대화 에이전트가 대화 중에 이미지와 언어 정보를 모두 활용하여 진정으로 협력하고 있는지 조사하는 것.
• 모델이 초반 캡션에 과도하게 의존하거나 이미지 검색을 위해 대화 상호작용을 효과적으로 활용하고 있는지 규명하는 것.
• 다중모odal 대화 시스템에서 모델의 견고성과 구성 요소 수준의 신뢰성에 대한 사전 점검을 제공하는 것.

제안 방법

• 추론 중 특정 구성 요소—이미지 특징, 캡션, 대화 턴—를 손상시키기 위해 구조적 또는 무작위 간섭을 적용한다.
• 시각 모odal리티 의존성 테스트를 위해 이미지 특징을 무작위 균일 노이즈로 대체한다.
• 캡션의 내용어를 무작위 단어로 대체하여 캡션 품질과 관련성 평가를 수행한다.
• 질문이나 답변의 토큰을 확률 p로 무작위로 손상시켜 대화의 견고성 평가를 수행한다.
• 예/아니요 답변을 뒤집는 부정 간섭을 통해 비협조적 행동에 대한 민감도를 테스트한다.
• 각 간섭 조건 하에서 VisDial 검증 세트에서 평균백분위수순위(MPR)를 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 시각 대화 모델이 정확한 이미지 검색을 위해 시각적 입력에 얼마나 의존하는가?
• RQ2 예측을 내릴 때 대화 기록에 비해 초반 캡션에 얼마나 의존하는가?
• RQ3 대화 턴에 무작위 또는 악성 방해가 가해졌을 때 모델의 견고성은 어느 정도인가?
• RQ4 답변 봇으로부터의 부정된 답변에 직면했을 때 모델은 협력적 행동을 보이는가?
• RQ5 언어적 요소와 시각적 요소가 동등하게 활용되는가, 아니면 결론 도출 과정에서 하나가 지배적인가?

주요 결과

• 이미지 특징을 무작위 노이즈로 대체했을 때 MPR가 0.4% 감소하여 시각적 입력에 거의 의존하지 않는다는 것을 시사한다.
• 캡션 간섭으로 인해 10라운드에서 40.1%의 성능 저하가 발생하여, 초반 캡션이 정보의 주요 원천임을 입증한다.
• 질문이나 답변을 무작위로 손상시켰을 때 MPR가 1% 미만으로 감소하여 대화 내용이 이미지 식별에 효과적으로 활용되지 않는다는 것을 시사한다.
• 부정 간섭으로 인해 성능 저하가 0.3%에 그쳐 비협조적 행동에 대한 민감도가 낮다는 것을 나타낸다.
• 대부분의 간섭 조건에서도 성능이 안정을 유지하여 에이전트 간 협력이 약하고, 초반 캡션에 과도하게 피팅된 가능성이 드러난다.
• 캡션 간섭 조건 하에서 모델의 순위 성능는 시간이 지남에 따라 약간 향상되었지만, 복구되지 않아 손상된 초반 컨텍스트로 인한 지속적 성능 저하가 발생함을 시사한다.