[논문 리뷰] Modality-Balanced Models for Visual Dialogue

Hyounghun Kim, Hao Tan외 1명|arXiv (Cornell University)|2020. 01. 17.

Multimodal Machine Learning Applications참고 문헌 26인용 수 6

한 줄 요약

이 논문은 대화 기록에 대한 과도한 의존을 줄이기 위해 이미지 전용 모델과 이미지-기록 병합 모델을 융합하여 시각 대화(Visual Dialog)를 위한 모odal-balanced 모델을 제안한다. 공식 드롭아웃 융합 및 앙상블 기법을 통해, Visual Dialog 2019 랭킹에서 최신 기준 성능을 달성하였으며, NDCG, MRR, 재현율 등 다양한 지표에서 균형 잡힌 성능을 유지하면서도 2018년 우승자보다 대부분의 지표에서 뛰어난 성능을 보였다.

ABSTRACT

The Visual Dialog task requires a model to exploit both image and conversational context information to generate the next response to the dialogue. However, via manual analysis, we find that a large number of conversational questions can be answered by only looking at the image without any access to the context history, while others still need the conversation context to predict the correct answers. We demonstrate that due to this reason, previous joint-modality (history and image) models over-rely on and are more prone to memorizing the dialogue history (e.g., by extracting certain keywords or patterns in the context information), whereas image-only models are more generalizable (because they cannot memorize or extract keywords from history) and perform substantially better at the primary normalized discounted cumulative gain (NDCG) task metric which allows multiple correct answers. Hence, this observation encourages us to explicitly maintain two models, i.e., an image-only model and an image-history joint model, and combine their complementary abilities for a more balanced multimodal model. We present multiple methods for this integration of the two models, via ensemble and consensus dropout fusion with shared parameters. Empirically, our models achieve strong results on the Visual Dialog challenge 2019 (rank 3 on NDCG and high balance across metrics), and substantially outperform the winner of the Visual Dialog challenge 2018 on most metrics.

연구 동기 및 목표

• 현재 시각 대화를 위한 다중모달 모델이 대화 기록에 과도하게 의존하는 이유를 규명하고, 이로 인해 NDCG와 같은 일반화 지표에서 성능이 떨어지는지 조사한다.
• 시각 대화 작업에서 이미지 전용 모델(더 나은 일반화)과 이미지-기록 병합 모델(더 나은 정밀도) 간의 상호보완적 강점을 분석한다.
• 두 유형의 모델을 통합하여 다중모달 모델을 개발함으로써, 다양한 평가 지표에서 뛰어나고 균형 잡힌 성능을 달성한다.
• 대화 기록에 대한 의존도를 줄이면 일반화 성능이 향상됨을 경험적으로 검증하며, 특히 유사도 가중치를 고려하는 NDCG에서 특히 두드러진다.
• 공식 드롭아웃 융합 및 앙상블 기법과 같은 융합 기법을 제안하고 효과적으로 평가한다.

제안 방법

• 대화 기록에 의존하지 않고 시각적 특징만을 사용하여 질문에 답하는 전용 이미지 전용 모델을 훈련시켜, 대화 패턴의 기억을 줄임으로써 NDCG에서 뛰어난 성능을 보임을 입증한다.
• 다양한 길이의 대화 기록을 사용하여 이미지-기록 병합 모델을 훈련시어 기록 의존성의 모델 행동 및 지표 점수에 미치는 영향을 분석한다.
• 공식 드롭아웃 융합을 구현하여, 훈련 중 이미지 전용 모델과 병합 모델의 출력 로짓에 드롭아웃을 적용함으로써 다양성을 유도하고 기록 패턴에 대한 과적합을 줄인다.
• 세 개의 이미지 전용 모델과 세 개의 병합 모델을 사용한 앙상블 학습을 통해 예측을 융합하고, 각 모델 유형의 상호보완적 강점을 활용한다.
• 훈련 중 라운드 드롭아웃을 적용하여 대화 기록 특징를 무작위로 제거함으로써 기억 패턴을 줄이고 다양한 길이의 맥락에 대한 강건성을 향상시킨다.
• 드롭아웃 비율(0.25로 선택)을 최적화하여 NDCG와 MRR, recall@k와 같은 정밀도 기반 지표 간의 성능 균형을 조율한다.

실험 결과

연구 질문

• RQ1 현재의 시각 대화 모델이 대화 기록에 얼마나 과도하게 의존하는가? 이로 인해 일반화 대비 정밀도 지표에서 어떤 영향을 미치는가?
• RQ2 NDCG와 MRR, recall@k 간의 성능을 비교할 때, 이미지 전용 모델과 이미지-기록 병합 모델 간의 성능 차이는 어떠한가?
• RQ3 공식 드롭아웃 융합 또는 앙상블 기법을 통해 이미지 전용 모델과 병합 모델을 융합하면 모든 지표에서 더 균형 잡히고 향상된 성능을 달성할 수 있는가?
• RQ4 훈련 중 라운드 드롭아웃을 적용하면 대화 기록 패턴의 기억을 완화하고 병합 모델의 일반화 성능을 향상시킬 수 있는가?
• RQ5 NDCG, MRR, 재현율 지표 간의 균형 잡힌 성능을 최대화하는 최적의 융합 전략(예: 드롭아웃 비율, 모델 조합)은 무엇인가?

주요 결과

• 이미지 전용 모델은 VisDial v1.0 테스트 세트에서 NDCG 점수 57.81을 기록하여 병합 모델보다 이 지표에서 뛰어나며, 기록 패턴 기억을 피함으로써 더 나은 일반화 성능을 보임을 시사한다.
• 드롭아웃 비율 0.25를 사용한 공식 드롭아웃 융합 모델은 NDCG 점수 59.93을 기록하여 기준 모델 대비 2.12점 향상되었으며, MRR 및 재현율 지표에서도 강력한 성능 유지를 보였다.
• 이미지 전용 모델과 병합 모델을 융합한 앙상블 모델(Img+Joint)은 NDCG 61.50, MRR 65.04를 기록하여 대부분의 지표에서 2018년 시각 대화 챌린지 우승자보다 뛰어난 성능을 보였다.
• 이미지 전용 모델 3개로 구성된 Img+Img 앙상블은 최고의 NDCG(61.97)를 기록했고, 병합 모델 3개로 구성된 Joint+Joint 앙상블은 최고의 MRR(65.60)를 기록하여 두 모델 유형 간의 상호보완적 성격을 확인했다.
• 라운드 드롭아웃은 NDCG를 1.2점 향상시켰다(58.97 → 60.11)하고, 대화 기록 패턴에 대한 과적합을 줄여 강건성을 향상시켰다.
• 최종 공식 드롭아웃 융합 모델은 Visual Dialog 2019 랭킹에서 3위를 기록하였으며, 대부분의 지표에서 2018년 챌린지 우승자보다 뛰어나면서도 모든 평가 기준에서 균형 잡힌 점수를 유지했다.