[論文レビュー] Image Captioning as an Assistive Technology: Lessons Learned from VizWiz 2020 Challenge

Pierre Dognin, Igor Melnyk+7 more|arXiv (Cornell University)|Dec 21, 2020

Multimodal Machine Learning Applications被引用数 8

ひとこと要約

本論文では、視覚障害者が日常的タスクを遂行できるように支援することを目的とした、耐障害性に優れたマルチモーダル画像キャプション生成システムを提示する。視覚的特徴にはResNeXtを、テキスト認識には回転不変性を持つOCRを、オブジェクト検出を組み合わせ、マルチモーダルトランスフォーマーとコピーメカニズムを用いて統合する。画像のぼやけや回転といった品質問題が生じる状況下でも、タスク指向的で意味的に豊かなキャプションを生成でき、VizWiz 2020チャレンジで最先端の性能を達成した。

ABSTRACT

Image captioning has recently demonstrated impressive progress largely owing to the introduction of neural network algorithms trained on curated dataset like MS-COCO. Often work in this field is motivated by the promise of deployment of captioning systems in practical applications. However, the scarcity of data and contexts in many competition datasets renders the utility of systems trained on these datasets limited as an assistive technology in real-world settings, such as helping visually impaired people navigate and accomplish everyday tasks. This gap motivated the introduction of the novel VizWiz dataset, which consists of images taken by the visually impaired and captions that have useful, task-oriented information. In an attempt to help the machine learning computer vision field realize its promise of producing technologies that have positive social impact, the curators of the VizWiz dataset host several competitions, including one for image captioning. This work details the theory and engineering from our winning submission to the 2020 captioning competition. Our work provides a step towards improved assistive image captioning systems.

研究の動機と目的

• 視覚障害者が日常のタスクを遂行できるように支援する、実用的で現実世界に即した画像キャプション生成システムの開発。
• MS-COCOのような整理されたデータセットで学習された汎用的キャプションモデルの限界を克服し、タスク指向的で目的志向のキャプションに焦点を当てる。
• 視覚障害者が撮影する画像に一般的に見られる、ぼやけ、回転、隠蔽、照明不良といった実世界の画像品質問題に対するシステムの耐障害性を向上させる。
• 視覚的特徴、検出されたテキスト、オブジェクトを統合したマルチモーダル入力を、意味的理解を向上させる統一されたキャプションフレームワークに統合する。
• 特に標準語彙に含まれないOCR検出語を含む、語彙外語の生成を可能にするコピーメカニズムの導入。

提案手法

• Instagram画像で事前学習されたResNeXt-101-32x8dバックボーンを用い、低品質で現実世界の画像から頑健な視覚的特徴を抽出する。
• 語彙に従う回転不変OCRモジュールを実装し、4つの画像回転方向でテキスト認識を評価し、意味的整合性が最も高いものを選択する。
• Faster R-CNNベースのモデルを用いたオブジェクト検出パイプラインを統合し、fastText埋め込みを用いてシーン内のオブジェクトを検出・埋め込む。
• マルチモーダルトランスフォーマーのエンコーダ-デコーダー構造を用いて、視覚的特徴、OCRトークン、オブジェクト検出結果を統合し、1つのマルチモーダル表現を生成する。
• トランスフォーマーのデコーダーにコピーメカニズムを導入し、OCRやオブジェクト検出で得られた語彙外トークンをコピー可能にすることで、希少語やドメイン固有語の生成を向上させる。
• クロスエントロピー事前学習に続く自己強化シーケンストレーニング（SCST）を用いてモデルを訓練し、CIDErスコアを最適化することで、キャプションの質と関連性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 視覚障害者が撮影する画像に見られるぼやけ、回転、隠蔽といった実世界の画像品質問題に対して、画像キャプションシステムをどのように耐障害性を高められるか。
• RQ2 特にOCRとオブジェクト検出を含むマルチモーダル入力は、支援的状況下でのキャプションの意味的豊かさとタスク関連性をどの程度向上できるか。
• RQ3 コピーメカニズムは、医薬品名のような希少語やドメイン固有語を含む語彙外語を効果的に処理できるか。
• RQ4 回転不変OCRの統合は、非標準的な方向をとる画像のキャプション性能にどのように寄与するか。
• RQ5 視覚的特徴、テキスト的特徴、オブジェクトレベルの特徴をマルチモーダルトランスフォーマーに統合することで、目的志向のキャプション生成にどのような影響を与えるか。

主な発見

• 本システムは、VizWiz 2020画像キャプションチャレンジで最先端の性能を達成し、マルチモーダル統合と頑健な前処理の有効性を示した。
• OCRモダリティは、標準語彙にない希少語やドメイン固有語（例：'bemiks'）を正確に検出・統合する上で不可欠であった。
• 回転不変OCRモジュールは、回転した画像における認識の信頼性を顕著に向上させ、複数のテストケースで性能向上が確認された。
• オブジェクト検出は、ごちゃついたシーンにおけるわずかにしか見えない車のような、微細または部分的に隠蔽されたオブジェクトを特定し記述可能にすることで、キャプション品質を向上させた。
• コピーメカニズムは、OCRから得た語彙外語（例：'heinz'、'tomato'、'ketchup'）を効果的に生成でき、実世界のタスク指向キャプションにおける実用性を実証した。
• FlaskとWatson Text-to-Speechを用いたPWAベースのリアルタイムデモは、検出されたテキストとオブジェクトを含む音声キャプションを効果的に提供し、実用的でクロスデバイス対応のアクセシビリティを実現した。