[論文レビュー] PRISM: A Unified Framework of Parameterized Submodular Information Measures for Targeted Data Subset Selection and Summarization

Vishal Kaushal, Suraj Kothawade+3 more|arXiv (Cornell University)|Feb 27, 2021

Advanced Image and Video Retrieval Techniques参考文献 49被引用数 6

ひとこと要約

PRISMは、標的データサブセット選択および要約のためのパラメータ化された部分モジュラー情報測度の統合フレームワークを導入する。ラベル付けコストの制約下でもモデル性能を向上させる（PRISM-TSS）とともに、効率的かつ意図に基づいたデータコレクションの要約を可能にし、画像分類および画像コレクション要約のタスクにおいて、先行手法を一般化・上回る性能を発揮する。

ABSTRACT

With increasing data, techniques for finding smaller, yet effective subsets with specific characteristics become important. Motivated by this, we present PRISM, a rich class of Parameterized Submodular Information Measures, that can be used in applications where such targeted subsets are desired. We demonstrate the utility of PRISM in two such applications. First, we apply PRISM to improve a supervised model's performance at a given additional labeling cost by targeted subset selection (PRISM-TSS) where a subset of unlabeled points matching a target set are added to the training set. We show that PRISM-TSS generalizes and is connected to several existing approaches to targeted data subset selection. Second, we apply PRISM to a more nuanced targeted summarization (PRISM-TSUM) where data (e.g., image collections, text or videos) is summarized for quicker human consumption with additional user intent. PRISM-TSUM handles multiple flavors of targeted summarization such as query-focused, topic-irrelevant, privacy-preserving and update summarization in a unified way. We show that PRISM-TSUM also generalizes and unifies several existing past work on targeted summarization. Through extensive experiments on image classification and image-collection summarization we empirically verify the superiority of PRISM-TSS and PRISM-TSUM over the state-of-the-art.

研究の動機と目的

• ラベル付けコストの制約下でも、モデル性能を維持または向上させる効率的で標的指向のデータサブセット選択の増大するニーズに対応すること。
• クエリ指向、プライバシー保護、アップデート対応といった多様な標的要約形式を、一貫したフレームワークに統合すること。
• 柔軟でパラメータ化された部分モジュラー形式を用いて、標的データサブセット選択および要約の既存手法を一般化・拡張すること。
• 教師あり学習および人間中心のデータ要約応用において、最先端の手法と比較して本フレームワークの優位性を実証的に検証すること。

提案手法

• ユーザーが定義するターゲット特性に基づいてデータサブセットの有効性をモデル化する、パラメータ化された部分モジュラー情報測度の族（PRISM）を提案する。
• 部分モジュラー最適化を用いて、ターゲット分布や意図に対して情報量の増加を最大化するデータサブセットを選択する。
• ラベル付けを目的とする未ラベル付き点を同定し、モデル性能の向上を図る、標的サブセット選択のためのPRISM-TSSを導入する。
• ユーザーの意図に基づき、データコレクション（例：画像、動画、テキスト）の柔軟な要約を可能にする、標的要約のためのPRISM-TSUMを開発する。
• パラメータ化された有効性関数を組み込むことで、既存の部分モジュラー測度を一般化する統一された目的関数を採用する。
• 理論的保証を備えたグリーディ最適化を適用し、大規模データセットに対してもスケーラビリティを維持しながら性能を確保する。

実験結果

リサーチクエスチョン

• RQ1 統合された部分モジュラー測度フレームワークは、追加のラベル付けコストを伴う標的データサブセット選択を改善できるか？
• RQ2 PRISMは、既存の標的データ選択および要約手法をどのように一般化または統合しているか？
• RQ3 教師あり学習の文脈において、PRISM-TSSは最先端の手法と比較してどの程度モデル性能を向上させているか？
• RQ4 PRISM-TSUMは、クエリ指向、プライバシー保護、アップデート対応といった多様な要約タスクを効果的に処理できるか？
• RQ5 PRISMの実世界のデータ選択および要約ベンチマークにおける実証的性能はいかほどか？

主な発見

• PRISM-TSSは、複数の既存手法を一般化・統合し、より柔軟で原理的根拠のあるフレームワークを提供する。
• PRISM-TSUMは、クエリ指向、トピック無関係、プライバシー保護、アップデート要約といった多様な標的要約形式を、一つの形式的枠組みで統合する。
• 画像分類タスクにおいて、同じラベル付けコスト下で、PRISM-TSSは最先端の手法を上回るモデル性能を達成する。
• 画像コレクション要約タスクにおいて、PRISM-TSUMは要約品質およびユーザーの意図との整合性の面で、既存手法を上回る。
• 広範な実験により、PRISM-TSSおよびPRISM-TSUMが、複数のベンチマークおよび評価指標において一貫して先行研究を上回ることが確認された。
• 本フレームワークは、大規模データセットにおいても高いスケーラビリティとロバストネスを示し、高い性能を維持している。