[논문 리뷰] On the Evaluation of Vision-and-Language Navigation Instructions

Ming Zhao, Peter Anderson외 5명|arXiv (Cornell University)|2021. 01. 26.

Multimodal Machine Learning Applications참고 문헌 34인용 수 11

한 줄 요약

이 논문은 시각-언어 내비게이션 지시 생성을 평가하며, 기존의 자동 평가 지표인 BLEU, ROUGE, METEOR, CIDEr가 기반 지도 내비게이션 지시 평가에 효과가 없음을 입증한다. 이는 인간의 내비게이션 성과와 가장 높은 상관관계를 보이는 지침-경로 호환성 모델을 제안하며, 표준 지표들과 BERTScore를 모두 능가한다. 또한 참조 지침이 있는 경우 시스템 수준 평가에 SPICE를, 参고 지침이 없는 경우 개별 지시 수준 평가에 호환성 모델을 사용할 것을 권장한다.

ABSTRACT

Vision-and-Language Navigation wayfinding agents can be enhanced by exploiting automatically generated navigation instructions. However, existing instruction generators have not been comprehensively evaluated, and the automatic evaluation metrics used to develop them have not been validated. Using human wayfinders, we show that these generators perform on par with or only slightly better than a template-based generator and far worse than human instructors. Furthermore, we discover that BLEU, ROUGE, METEOR and CIDEr are ineffective for evaluating grounded navigation instructions. To improve instruction evaluation, we propose an instruction-trajectory compatibility model that operates without reference instructions. Our model shows the highest correlation with human wayfinding outcomes when scoring individual instructions. For ranking instruction generation systems, if reference instructions are available we recommend using SPICE.

연구 동기 및 목표

• 기반 지도 내비게이션 지시 생성을 위한 기존 자동 평가 지표의 효과성을 평가하는 것.
• 자동 평가 지표에만 의존하지 않고 인간 내비게이터의 평가를 통해 최신 지시 생성기의 성능을 평가하는 것.
• 참조 지침이 없는 경우 지침과 경로 간 호환성을 측정하는 참조 없는 평가 모델을 개발하는 것.
• 참조 지침이 존재하는지 여부에 따라 평가 지표 선택에 실질적인 권고를 제공하는 것.

제안 방법

• 지침과 경로를 동일한 잠재 공간에 매핑하는 이중 인코더 신경망 모델을 제안하여 호환성 점수를 계산한다.
• 정확한 지침-경로 쌍 간의 정렬을 향상시키기 위해 대비 손실과 쌍별 분류 손실을 모두 사용하여 모델을 훈련시킨다.
• 일반화 능력을 향상시키기 위해 경로와 지침의 역번역 및 변형을 하드 음성 예제로 활용한다.
• 다양한 평가 설정에서 상관관계 지표에 대한 90% 신뢰구간을 계산하기 위해 부트스트랩 리샘플링을 사용한다.
• 인간 평가 데이터 기반으로 제안된 호환성 모델을 표준 지표(BLEU, ROUGE, METEOR, CIDEr, SPICE, BERTScore) 및 VLN 에이전트 기반 점수와 비교한다.
• 참조 지침이 있는 경우 시스템 수준 평가에 SPICE를, 참조 지침이 없는 경우 개별 지시 수준 평가에 호환성 모델을 사용할 것을 권장한다.

실험 결과

연구 질문

• RQ1 BLEU, ROUGE, METEOR, CIDEr와 같은 기존 자동 평가 지표는 시각-언어 내비게이션 지시에서 인간 내비게이션 성과와 얼마나 상관관계가 있는가?
• RQ2 인간 내비게이터의 평가 기준으로 볼 때 최신 지시 생성기들은 단순한 템플릿 기반 시스템과 비교해 어떻게 성능을 내는가?
• RQ3 학습된 지침-경로 호환성 모델은 개별 내비게이션 지시에 대한 신뢰할 수 있는 참조 없는 평가 지표로 기능할 수 있는가?
• RQ4 대비 손실, 역번역, 데이터 증강과 같은 학습 기법 중 어떤 것이 호환성 모델의 성능을 향상시키는가?
• RQ5 인간 평가에서 지시 품질과 내비게이션 성공 여부를 가장 잘 반영하는 평가 지표는 무엇인가?

주요 결과

• BLEU, ROUGE, METEOR, CIDEr와 같은 표준 텍스트 지표는 인간 내비게이션 성과와 유의미한 상관관계가 없어, 기반 지도 내비게이션 지시 평가에 효과가 없다.
• 제안된 지침-경로 호환성 모델은 개별 지시 수준에서 인간 내비게이션 성과와 가장 높은 Kendall’s τ 상관관계를 보이며, BERTScore 및 VLN 에이전트 기반 점수를 모두 능가한다.
• SPICE는 유일하게 시스템 수준에서 인간 평가와 의미 있는 상관관계를 보이며, 특히 성공률과 SPL과 같은 지표에서 그렇다.
• 훈련 중 대비 손실을 추가함으로써 호환성 모델의 AUC가 9–10% 향상되며, 역번역은 긍정 예제의 어휘 다양성을 높여 성능을 향상시킨다.
• 모델 기반 평가 접근법은 분포 이탈에 강건하여, 도메인 외부 지시 생성기에서도 잘 작동하지만, 표준 지표는 넓은 신뢰구간과 일관되지 않은 순위를 보이며 성능이 저하된다.
• 연구 결과에 따르면 지시 생성 분야에 여전히 큰 향상 여유가 있음을 확인했으며, 심지어 최고 수준의 모델도 인간 시험에서 템플릿 기반 베이스라인과 비교해 약간 뿐만 아니라 뛰어나지 못한다.