[논문 리뷰] Image Captioning as an Assistive Technology: Lessons Learned from VizWiz 2020 Challenge

Pierre Dognin, Igor Melnyk외 7명|arXiv (Cornell University)|2020. 12. 21.

Multimodal Machine Learning Applications인용 수 8

한 줄 요약

이 논문은 시각 장애인이 일상에서 사용할 수 있도록 설계된 내성적이고 다중모달 이미지 캡셔닝 시스템을 제시한다. 이 시스템은 시각적 특징 추출에 ResNeXt를 활용하고, 기울기 불변 텍스트 인식 기능을 갖춘 OCR 및 객체 검출 기능을 결합하여 다중모달 트랜스포머와 복사 메커니즘을 통해 통합한다. 이는 블러, 기울임 등 이미지 품질 문제에도 불구하고 임무 중심적이고 의미적으로 풍부한 캡셔닝을 생성함으로써 VizWiz 2020 도전 대회에서 최고 성능을 기록하였다.

ABSTRACT

Image captioning has recently demonstrated impressive progress largely owing to the introduction of neural network algorithms trained on curated dataset like MS-COCO. Often work in this field is motivated by the promise of deployment of captioning systems in practical applications. However, the scarcity of data and contexts in many competition datasets renders the utility of systems trained on these datasets limited as an assistive technology in real-world settings, such as helping visually impaired people navigate and accomplish everyday tasks. This gap motivated the introduction of the novel VizWiz dataset, which consists of images taken by the visually impaired and captions that have useful, task-oriented information. In an attempt to help the machine learning computer vision field realize its promise of producing technologies that have positive social impact, the curators of the VizWiz dataset host several competitions, including one for image captioning. This work details the theory and engineering from our winning submission to the 2020 captioning competition. Our work provides a step towards improved assistive image captioning systems.

연구 동기 및 목표

• 시각 장애인이 일상적인 과제를 수행할 수 있도록 지원하는 실용적이고 현실적인 이미지 캡셔닝 시스템을 개발하기 위해.
• MS-COCO와 같은 정제된 데이터셋에서 훈련된 일반적인 캡셔닝 모델의 한계를 보완하기 위해, 임무 중심적이고 목표 지향적인 캡셔닝에 초점을 맞추기 위해.
• 시각 장애인이 촬영한 이미지에서 흔히 발생하는 블러, 기울임, 가림, 낮은 조도 등의 실생활 이미지 품질 문제에 대한 시스템의 강건성을 향상시키기 위해.
• 시각적 특징, 검출된 텍스트, 객체 정보 등의 다중모달 입력을 통합된 캡셔닝 프레임워크에 통합하여 의미 이해도를 향상시키기 위해.
• OCR나 객체 검출을 통해 검출된 어휘에 속하지 않는 단어(Out-of-vocabulary 단어)의 생성을 가능하게 하기 위해 복사 메커니즘을 도입하기 위해.

제안 방법

• Instagram 이미지에서 미리 훈련된 ResNeXt-101-32x8d 기반 모델을 사용하여 저품질의 실생활 이미지에서 강력한 시각적 특징을 추출하였다.
• 텍스트 인식 결과를 네 가지 이미지 방향에서 평가하고, 의미적 일관성이 가장 높은 결과를 선택하는 사전 지도 기반 기울기 불변 OCR 모듈을 구현하였다.
• 빠른Text 임베딩을 사용하여 객체 검출 파이프라인(Faster R-CNN 기반 모델)을 통합하여 장면 내 객체를 검출하고 임베딩하였다.
• 다중모달 트랜스포머 인코더-디코더 아키텍처를 사용하여 시각적 특징, OCR 토큰, 객체 검출 결과를 하나의 다중모달 표현으로 융합하였다.
• OCR나 객체 검출을 통해 검출된 OOV(Out-of-vocabulary) 토큰을 복사할 수 있도록 트랜스포머 디코더에 복사 메커니즘을 도입하여 희귀어나 전문 용어의 생성을 향상시켰다.
• 크로스 엔트로피 사전 훈련 후 자기 비판적 순서 훈련(ScST)을 적용하여 CIDEr 점수 최적화를 통해 캡셔닝 품질과 관련성 향상을 도모하였다.

실험 결과

연구 질문

• RQ1 시각 장애인이 촬영한 이미지에서 발생하는 블러, 기울임, 가림 등의 실생활 이미지 품질 문제에 대해 어떻게 이미지 캡셔닝 시스템의 강건성을 확보할 수 있는가?
• RQ2 특히 OCR 및 객체 검출과 같은 다중모달 입력이 보조적 환경에서 생성된 캡셔닝의 의미적 풍부성과 임무 관련성에 얼마나 기여하는가?
• RQ3 복사 메커니즘이 OCR이나 객체 검출을 통해 유도된 OOV 단어, 특히 약물명과 같은 희귀어나 전문 용어를 효과적으로 처리할 수 있는가?
• RQ4 기울기 불변 OCR의 통합이 비표준적인 방향으로 촬영된 이미지에서 캡셔닝 성능에 어떻게 기여하는가?
• RQ5 시각적, 텍스트적, 객체 수준의 특징을 다중모달 트랜스포머에 통합할 경우, 목표 지향적인 캡셔닝 생성에 어떤 영향을 미치는가?

주요 결과

• 이 시스템은 VizWiz 2020 이미지 캡셔닝 도전 대회에서 최고 성능을 기록하여 다중모달 융합과 강력한 사전 처리의 효과를 입증하였다.
• OCR 모odal이 특히 표준 어휘에 포함되지 않은 희귀어나 전문 용어(예: 'bemiks')를 정확하게 인식하고 캡셔닝에 통합하는 데 핵심적인 역할을 하였다.
• 기울기 불변 OCR 모듈은 기울인 이미지에서의 인식 신뢰도를 크게 향상시켰으며, 다양한 테스트 케이스에서 성능 향상이 관찰되었다.
• 객체 검출 기능은 복잡한 장면에서 거의 보이지 않는 차량과 같은 미세하거나 부분적으로 가려진 객체를 식별하고 기술함으로써 캡셔닝 품질을 향상시켰다.
• 복사 메커니즘이 OCR을 통해 검출된 OOV 단어(예: 'heinz', 'tomato', 'ketchup')를 성공적으로 생성하여 실생활의 임무 중심 캡셔닝에서의 유용성을 입증하였다.
• Flask와 Watson Text-to-Speech를 사용한 실시간 PWA 기반 데모는 검출된 텍스트와 객체를 포함한 오디오 캡셔닝을 성공적으로 제공하여 실용적이고 다기기 간 접근성을 확보하였다.