[논문 리뷰] Visual Dialogue without Vision or Dialogue

Daniela Massiceti, Puneet K. Dokania외 2명|arXiv (Cornell University)|2018. 12. 16.

Multimodal Machine Learning Applications참고 문헌 18인용 수 22

한 줄 요약

이 논문은 시각 대화에서 시각 입력 또는 대화 이력 없이도 평균 순위(MR) 기준으로 최신 기술에 근접한 성능을 달성하는 단순한 캐논리컬 상관 분석(cca) 기반 방법을 제안한다. 시각 입력이나 대화 이력 없이도, 표준 기능과 최소한의 계산만을 사용함에도 불구하고, 복잡한 딥러닝 아키텍처를 능가하는 성능을 보이며, 현재 평가 지표와 데이터셋 설계에 잠재된 편향을 드러낸다.

ABSTRACT

We characterise some of the quirks and shortcomings in the exploration of Visual Dialogue - a sequential question-answering task where the questions and corresponding answers are related through given visual stimuli. To do so, we develop an embarrassingly simple method based on Canonical Correlation Analysis (CCA) that, on the standard dataset, achieves near state-of-the-art performance on mean rank (MR). In direct contrast to current complex and over-parametrised architectures that are both compute and time intensive, our method ignores the visual stimuli, ignores the sequencing of dialogue, does not need gradients, uses off-the-shelf feature extractors, has at least an order of magnitude fewer parameters, and learns in practically no time. We argue that these results are indicative of issues in current approaches to Visual Dialogue and conduct analyses to highlight implicit dataset biases and effects of over-constrained evaluation metrics. Our code is publicly available.

연구 동기 및 목표

• 시각 대화에서 높은 성능을 내기 위해 복잡한 신경망 아키텍처가 필수적이라는 가정을 도전하기 위해.
• 현재 평가 지표인 평균 순위(MR)와 NDCG가 시각 대화에서 모델 능력을 진정으로 반영하는지 조사하기 위해.
• VisDial 데이터셋과 표준 평가 프로토콜의 과도한 제약성에 기반한 암묵적 편향을 드러내기 위해.
• 평가 지표인 MR 기준에서 단순하고 경량의 모델이 경쟁 가능한 성능을 낼 수 있음을 보여주며, 특정 지표에 대한 과적합 가능성 제기하기 위해.
• 시각 대화 연구 분야에서 더 견고하고 편향이 적은 평가 프레임워크 도입을 주장하기 위해.

제안 방법

• 질문, 답변, 그리고 선택적으로 이미지를 기반으로 다중 시각 캐논리컬 상관 분석(cca)을 사용해 공동 임베딩을 학습한다.
• 사전 훈련된 GloVe와 FastText 임베딩을 사용해 질문과 답변을 공통 잠재 공간으로 투영하고, 사전 훈련된 ResNet-34를 사용해 이미지를 투영한다.
• 기울기 또는 미세조정 없이, 임bedded된 질문-답변 쌍 간의 코사인 유사도를 계산해 후보 답변을 순위 매긴다.
• 이 방법은 시각 입력과 대화 이력을 완전히 무시하며, 표준 기능과 수백만 개의 파rameter만 사용한다.
• 상관 행렬의 고유값 분해를 통해 투영 행렬을 계산하고, 고유값 가중치를 적용해 성능을 향상시킨다.
• Otsu의 임계값을 통한 이진 클러스터링 히우리스틱을 적용해 답변 유사도를 분석하고, 타당한 답변의 동치 클래스를 식별한다.

실험 결과

연구 질문

• RQ1 시각 입력이나 대화 이력을 사용하지 않고도, 단순하고 비신경망, 비미분 가능한 방법이 시각 대화 벤치마크에서 경쟁적인 성능을 낼 수 있는가?
• RQ2 현재 평가 지표인 평균 순위(MR)와 NDCG가 시각 대화에서 실제 모델 능력을 얼마나 잘 반영하는가?
• RQ3 VisDial 데이터셋에 암묵적인 편향이 존재하여, 핵심 입력을 무시함에도 불구하고 단순한 모델이 잘 수행할 수 있는가?
• RQ4 성능 지표(MR, R@1, NDCG)가 시각 대화에서 답변 선택의 실제 품질과 얼마나 상관이 있는가?
• RQ5 답변 후보들이 동치 클래스를 형성할 수 있는가? 즉, 여러 답변이 동등하게 타당한 경우가 존재하여 진정한 랭킹의 신뢰성을 떨어뜨리는가?

주요 결과

• CCA 기반 모델은 시각 입력 없이 질문과 답변 기능만을 사용해 평균 순위(MR) 16.60을 달성하며, 시각과 이력을 사용하는 복잡한 SOTA 모델들을 능가한다.
• VGG-16과 GloVe 임베딩을 사용할 경우 MR가 15.86으로 떨어지며, 다양한 특징 추출기 간의 강건성을 입증한다.
• NDCG와 MRR 점수가 낮더라도, 상위 순위의 답변이 진정한 정답과 높은 상관성을 보이며, 진정한 정답이 일반적으로 타당한 답변 집합 내에서 임의적임을 시사한다.
• 상위 순위의 답변은 항상 진정한 정답과 유사한 상관성을 유지하며, 이는 답변이 동치 클래스를 형성하고 있음을 의미한다. 이는 랭킹 기반 지표의 타당성을 떨어뜨린다.
• 제거 실험 결과, CCA 모델은 이미지나 이력을 제거한 SOTA 모델의 변형보다 성능이 뛰어나거나 동등한 성능을 보이며, 이는 모델의 강건성을 더욱 강화한다.
• 최근접 이웃 기반 베이스라인은 테스트 시에 훈련 데이터를 저장이 필요하고 MR에서 성능이 열 劣하다. 반면 CCA 모델은 더 빠르고, 더 작으며, 계산과 메모리 면에서 더 효율적이다.