[論文レビュー] Vis-DSS: An Open-Source toolkit for Visual Data Selection and Summarization

Rishabh Iyer, Pratik Dubal+4 more|arXiv (Cornell University)|Sep 24, 2018

Image Retrieval and Classification Techniques被引用数 4

ひとこと要約

Vis-DSS は、サブモジュラー関数最適化を活用して、画像、動画、学習データの効率的かつスケーラブルな要約を可能にするオープンソースのツールキットです。メモ化技術による高速化により、動画要約、画像コレクション要約、多様性のあるアクティブラーニングなどのタスクで最先端の性能を達成しています。

ABSTRACT

With increasing amounts of visual data being created in the form of videos and images, visual data selection and summarization are becoming ever increasing problems. We present Vis-DSS, an open-source toolkit for Visual Data Selection and Summarization. Vis-DSS implements a framework of models for summarization and data subset selection using submodular functions, which are becoming increasingly popular today for these problems. We present several classes of models, capturing notions of diversity, coverage, representation and importance, along with optimization/inference and learning algorithms. Vis-DSS is the first open source toolkit for several Data selection and summarization tasks including Image Collection Summarization, Video Summarization, Training Data selection for Classification and Diversified Active Learning. We demonstrate state-of-the art performance on all these tasks, and also show how we can scale to large problems. Vis-DSS allows easy integration for applications to be built on it, also can serve as a general skeleton that can be extended to several use cases, including video and image sharing platforms for creating GIFs, image montage creation, or as a component to surveillance systems and we demonstrate this by providing a graphical user-interface (GUI) desktop app built over Qt framework. Vis-DSS is available at https://github.com/rishabhk108/vis-dss

研究の動機と目的

• ドローン、ドライブレコーダ、スマートフォンなどのソースから生じる大量の重複する視覚的データを管理するという増大する課題に対処すること。
• 視覚モデルの学習に適したデータサブセット選択を可能にすることで、機械学習における人的ラベルコストを削減すること。
• 画像コレクション、動画、学習データ選択、アクティブラーニングといった多様な視覚的要約タスクを、統一されたサブモジュラー最適化フレームワークで統合すること。
• 実世界の応用（GIF作成、監視、画像マネキン作成など）をサポートする、スケーラブルで拡張可能かつオープンソースのソフトウェアツールキットを提供すること。
• 実世界のデータセットを用いた広範なベンチマークを通じて、計算効率と最先端の性能を実証すること。

提案手法

• フレームワークは、データ要約における多様性、カバレッジ、表現力、重要性をモデル化するためにサブモジュラー関数を用いる。
• 視覚的特徴、シーン情報、物体検出、顔検出、色データの抽出を目的とした前処理パイプラインを備えたモジュラー設計を採用する。
• メモ化技術を活用することで最適化を高速化し、ナードなオラクルベース評価と比較して計算時間を桁違いに短縮する。
• クエリベース、エンティティベース（例：顔、物体）、学習済み分類器を用いた重要度ベースの要約という、複数の要約パラダイムをサポートする。
• Qtフレームワークを基盤に構築されたGUIデスクトップアプリケーションにより、ユーザーとのインタラクションと視覚的データのリアルタイム要約が可能になる。
• 本ツールキットは4つのコアアプリケーションをサポートする：画像コレクション要約、動画要約、学習データサブセット選択、多様性のあるアクティブラーニング。

実験結果

リサーチクエスチョン

• RQ1 サブモジュラー最適化を、動画要約や学習データ選択といった多様な視覚的要約タスクを統合するのに効果的に応用する方法は何か？
• RQ2 さまざまな要約シナリオにおいて、多様性、カバレッジ、表現力、重要性といった異なるサブモジュラーモデルの相対的な性能トレードオフは何か？
• RQ3 メモ化技術は、2時間の動画のような大規模な視覚的データに対して、サブモジュラー関数評価のスケーラビリティを著しく向上させられるか？
• RQ4 本フレームワークは、実世界の応用（例：エンティティベース要約（顔、物体など）、クエリベース要約）において、どの程度の性能を示すか？
• RQ5 本ツールキットは、監視プラットフォームやコンテンツ共有アプリケーションといった実践的システムへの拡張・統合に、どの程度対応できるか？

主な発見

• クエリベース要約において、多様性モデルが他のモデルを上回った。特に、過剰に表現されたシーンを効果的に処理する能力により、多様なフレームを選択できた。
• エンティティ要約（顔や物体など）において、表現モデルが最も優れた定量的成績を達成した。誤検出を効果的にスキップし、代表的なインスタンスを適切に選択した。
• メモ化により、2時間の動画の要約時間が数百秒から1秒未塔に短縮され、特定の関数では最大270倍の高速化が達成された。
• 本フレームワークは、画像コレクション要約、動画要約、学習データサブセット選択のすべての評価タスクで最先端の性能を達成した。
• Gygliら[8] や SFO [18] といった先行研究を上回る性能を示し、特徴ベース関数やセットカバレッジ関数といった重要な関数において、平均で最大150倍の高速化が達成された。
• GUIデスクトップアプリケーションは、リアルタイム要約の実現に成功し、本ツールキットのユーザビリティおよびエンドユーザー向け応用への拡張可能性を裏付けた。