[논문 리뷰] Context Matters for Image Descriptions for Accessibility: Challenges for Referenceless Evaluation Metrics

Elisa Kreiss, Cynthia L. Bennett외 4명|arXiv (Cornell University)|2022. 05. 21.

Multimodal Machine Learning Applications인용 수 6

한 줄 요약

이 논문은 현재의 참조 없이 이미지 설명을 평가하는 메트릭, 예를 들어 CLIPScore나 SPURTS가 盲점 및 저시력(Blind and Low Vision, BLV) 사용자에게 핵심적인 맥락적 관련성( contextual relevance )을 고려하지 못함으로써 모델 개발이 잘못된 방향으로 이어질 수 있다고 주장한다. BLV 참가자들을 대상으로 한 사용자 연구를 통해 저자들은 맥락이 설명 품질 평가에 상당한 영향을 미친다는 것을 입증하였으며, 인간 평가와의 상관관계를 높이기 위해 CLIPScore의 맥락 인식적 개선 버전을 제안한다. 이는 보다 효과적인 접근성 평가 메트릭으로 나아가는 길을 제시한다.

ABSTRACT

Few images on the Web receive alt-text descriptions that would make them accessible to blind and low vision (BLV) users. Image-based NLG systems have progressed to the point where they can begin to address this persistent societal problem, but these systems will not be fully successful unless we evaluate them on metrics that guide their development correctly. Here, we argue against current referenceless metrics -- those that don't rely on human-generated ground-truth descriptions -- on the grounds that they do not align with the needs of BLV users. The fundamental shortcoming of these metrics is that they do not take context into account, whereas contextual information is highly valued by BLV users. To substantiate these claims, we present a study with BLV participants who rated descriptions along a variety of dimensions. An in-depth analysis reveals that the lack of context-awareness makes current referenceless metrics inadequate for advancing image accessibility. As a proof-of-concept, we provide a contextual version of the referenceless metric CLIPScore which begins to address the disconnect to the BLV data. An accessible HTML version of this paper is available at https://elisakreiss.github.io/contextual-description-evaluation/paper/reflessmetrics.html

연구 동기 및 목표

• 맹점 및 저시력(BLV) 사용자에게서 이미지 설명의 품질 인식에 맥락이 미치는 영향을 조사하기 위해.
• CLIPScore와 SPURTS와 같은 기존의 參照 없는 메트릭이 맥락 의존적 설명 품질을 포착하지 못하는 한계를 평가하기 위해.
• 참조 없는 메트릭에 맥락 인식적 수정을 가미하면 인간 평가와의 일치도가 향상되는지 평가하기 위해.
• 현재 평가 관행에서 맥락 독립성이라는 가정을 뒤집는 바탕이 되는 실증적 증거를 제공하기 위해.

제안 방법

• 동일한 이미지를 다양한 위키백과 기사 맥락에서 제시하여 시력이 있는 참가자들과 BLV 참가자들로 하여금 설명을 유도하고 평가하도록 한 사용자 연구를 수행하였다.
• 관련성, 명확성, 종합 품질 등의 차원에서 5점 리커트 척도를 사용하여 다차원적 인간 평가를 수집하였다.
• CLIPScore와 SPURTS와 같은 두 가지 參照 없는 메트릭이 인간 평가를 예측하는 데 얼마나 효과적인지 평가하였으며, 특히 맥락 통합의 부재를 중심으로 분석하였다.
• 평가 과정에 주변 맥락 문단을 통합하여 CLIPScore의 맥락 인식적 개선 버전을 제안하였다. 이는 인간 평가와의 일치도를 향상시키기 위함이다.
• 참가자별 랜덤 효과를 포함한 통계 모델을 사용하여 리커트 척도 데이터를 분석하고, 인간 평가와 메트릭 간 상관관계를 평가하였다.
• 텍스트 길이와 잘라내기(Truncation)가 메트릭 성능에 미치는 영향을 분석하였으며, 특히 맥락 인식성과 BLV 사용자 요구와의 관련성을 중심으로 분석하였다.

실험 결과

연구 질문

• RQ1 이미지가 나타나는 맥락이 BLV 사용자들 사이에서 그 설명의 품질 인식에 어떤 영향을 미치는가?
• RQ2 맥락이 변화할 경우 CLIPScore나 SPURTS와 같은 參照 없는 메트릭이 인간 평가를 얼마나 잘못 예측하는가?
• RQ3 CLIPScore의 맥락 민감성 개선 버전이 인간 평가와의 상관관계를 향상시킬 수 있는가?
• RQ4 BLV 사용자들은 설명 품질 평가 시 맥락적 관련성과 이미지 콘텐츠 중 어느 쪽을 더 우선시하는가?

주요 결과

• BLV 참가자들은 동일한 이미지를 묘사하는 설명이라도 맥락적으로 관련성이 있을 경우 일관되게 더 높은 품질로 평가하였으며, 이는 맥락이 인식된 유용성의 주요 결정 요소임을 시사한다.
• 원래의 CLIPScore 메트릭은 맥락이 변화할 경우 인간 평가와의 상관관계가 낮았으며, 맥락적 관련성에 민감하지 않음을 입증하였다.
• 언어적 특징에만 의존하는 SPURTS 역시 맥락 효과를 포착하지 못하여, 순수 텍스트 기반의 參照 없는 메트릭의 한계를 다시 한번 확인시켰다.
• 주변 문단 맥락을 통합한 맥락 인식적 CLIPScore 버전은 인간 평가와의 상관관계에서 유의미하게 향상된 결과를 보였으며, 맥락 민감한 평가의 가능성은 입증되었다.
• 설명 길이가 품질의 주요 예측 변수로 확인되었으나, CLIP 기반 메트릭은 토큰 잘라내기로 인해 이 정보를 상실하여 신뢰도가 더욱 낮아졌다.
• 본 연구는 현재의 參照 없는 메트릭이 맥락을 忽略하기 때문에 보다 적절한 접근성 있는 이미지 설명 개발을 이끌 수 없다는 점을 드러내며, BLV 사용자에게 핵심적인 요소인 맥락을 간과하고 있음을 폭 드러낸다.