[論文レビュー] VizWiz Dataset Browser: A Tool for Visualizing Machine Learning Datasets

Nilavra Bhattacharya, Danna Gurari|arXiv (Cornell University)|Dec 19, 2019

Multimodal Machine Learning Applications参考文献 4被引用数 7

ひとこと要約

VizWiz Dataset Browser は、画像、視覚的質問、回答、キャプション、複数の注釈タイプを含むマルチモーダルな VizWiz データセットを、インタラクティブなインターフェースを通じて探索・検索・フィルタリングできるウェブベースの可視化ツールです。LAMP スタックを基盤とし、全文検索およびカテゴリカルフィルタリングを備えた本ツールは、コンピュータビジョンおよびアクセシビリティ分野における定性的・定量的研究を支援する、スケーラブルでインタラクティブな大規模で豊富に注釈が施されたデータセットの探索を可能にします。

ABSTRACT

We present a visualization tool to exhaustively search and browse through a set of large-scale machine learning datasets. Built on the top of the VizWiz dataset, our dataset browser tool has the potential to support and enable a variety of qualitative and quantitative research, and open new directions for visualizing and researching with multimodal information. The tool is publicly available at https://vizwiz.org/browse.

研究の動機と目的

• 大規模でマルチモーダルな機械学習データセット、特に複雑な注釈を有するものにおける探索的データ分析の課題に対処すること。
• 質問、回答、キャプション、品質メタデータを含む、画像とその多様な注釈を統合的かつインタラクティブに閲覧できるプラットフォームを提供すること。
• テキストおよびカテゴリカルな注釈を効率的に検索・フィルタリングできることで、手作業によるデータ検査や誤りを伴いやすい分析の負担を軽減すること。
• 注釈の分布や関係性の動的可視化を提供することで、定性的および定量的分析を支援すること。
• コンピュータビジョン、アクセシビリティ、ヒューマンコンピュータインタラクション分野における包括的でインタラクティブなデータセット探索を促進することで、研究を支援すること。

提案手法

• 本ツールは、スケーラブルなデプロイメントを実現するため、LAMP スタック（Linux, Apache, MariaDB, PHP）を用いたシングルページウェブアプリケーションとして実装されている。
• 全文検索は、MariaDB の全文インデックス機能により実装され、質問、回答、キャプションの効率的な照会を可能にしている。
• 回答の差異の理由、スキル、画像品質の問題といったカテゴリカルな注釈は、5人のクラウドワーカーのうち各ラベルを選択した人数に基づく1次元のヒートマップとして可視化されている。
• 検索およびフィルタリングのコントロールは、ECサイトのフィルタリングパターンを参考に、スクロール可能なサイドバーパネルに配置され、使いやすさと情報密度の両立が図られている。
• 結果は、クエリの種別に応じて関連性（一致語数）、回答の多様性（シャノンエントロピー）、またはラベル頻度の順に並べ替えられる。
• 「表示」パネルを介して、異なる注釈タイプの可視性を切り替えることで、視覚的なごみを減らし、焦点を当てた分析を支援できる。

実験結果

リサーチクエスチョン

• RQ1 研究者が、複雑で多段階的な注釈を有する大規模なマルチモーダルデータセットを、どのように効率的に探索できるか？
• RQ2 インタラクティブな可視化は、視覚的質問応答データセットにおける異なる注釈タイプ間の隠れたパターンや関係性を明らかにする上で、どのような役割を果たせるか？
• RQ3 豊富に注釈が施されたデータセットにおいて、探索的データ分析と標的データ抽出の両方を支援するように、検索およびフィルタリング機能をどのように設計できるか？
• RQ4 統合インターフェースは、多様でクラウドソーシングされたメタデータにおいて、データ品質の評価と注釈の検証をどのように向上できるか？
• RQ5 インタラクティブな可視化は、コンピュータビジョン、アクセシビリティ、ヒューマンコンピュータインタラクション分野における学際的研究を、どのように支援するか？

主な発見

• VizWiz Dataset Browser は、質問、回答、キャプションの全文検索を可能にし、1ページあたり50枚未満の結果を返すことで、高速な読み込みを実現し、VizWiz データセットの効率的でスケーラブルな探索を可能にしている。
• 回答の差異の理由、スキル、画像品質の問題といったカテゴリカルな注釈によるフィルタリングが可能であり、回転が必要な画像や難しい質問を含む特定のデータサブセットを特定できる。
• 関連性（一致語数）、回答の多様性（シャノンエントロピー）、ラベル頻度の順に結果をソートでき、柔軟な分析ワークフローを実現している。
• カテゴリカルな注釈のヒートマップ可視化により、注釈の合意度を明確で定量的な形で把握でき、値は5人中何人が各ラベルを選択したかを示している。
• 本ツールは、既にコンピュータビジョン、アクセシビリティ、ヒューマンコンピュータインタラクション分野における研究を支援するために採用されており、実世界の研究現場での実用的価値を示している。
• 注釈の可視性を切り替えられる機能により、スクリーンショットの撮影や特定のデータタイプに集中するといった、特定のタスクに合わせたインターフェースカスタマイズが可能である。