[論文レビュー] FEDEX: An Explainability Framework for Data Exploration Steps

Daniel Deutch, Amir Gilad+3 more|arXiv (Cornell University)|Sep 13, 2022

Data Visualization and Analytics被引用数 5

ひとこと要約

FEDEX は、ユーザー定義または文献に基づく興味の度合いの指標を用いて、特定のデータ探索操作がなぜ興味深いとされるかを同定・説明する、新しい解釈可能フレームワークである。FEDEX は、説明の質と効率性においてベースラインを同等または上回るスケーラブルな最適化戦略（sysopt）を導入しており、実データセットを用いた広範な実験とユーザースタディによって検証されている。

ABSTRACT

When exploring a new dataset, Data Scientists often apply analysis queries, look for insights in the resulting dataframe, and repeat to apply further queries. We propose in this paper a novel solution that assists data scientists in this laborious process. In a nutshell, our solution pinpoints the most interesting (sets of) rows in each obtained dataframe. Uniquely, our definition of interest is based on the contribution of each row to the interestingness of different columns of the entire dataframe, which, in turn, is defined using standard measures such as diversity and exceptionality. Intuitively, interesting rows are ones that explain why (some column of) the analysis query result is interesting as a whole. Rows are correlated in their contribution and so the interesting score for a set of rows may not be directly computed based on that of individual rows. We address the resulting computational challenge by restricting attention to semantically-related sets, based on multiple notions of semantic relatedness; these sets serve as more informative explanations. Our experimental study across multiple real-world datasets shows the usefulness of our system in various scenarios.

研究の動機と目的

• ユーザーの操作がなぜ興味深いとされるかという *理由* に焦点を当てることで、解釈可能なデータ探索におけるギャップを埋める。
• 興味の度合いの背後にある理由を説明するフレームワークを提供し、その説明を定義・測定する際の課題に対処する。
• 既存のEDAツールとの統合を可能にするために、ユーザーの行動と推奨される操作の両方に対する説明を提供する。
• 先行研究に基づいた拡張可能なユーザー定義の興味の度合いの指標を用いて一般化を支援する。
• 実世界のデータセットを用いた厳密な評価を通じて、スケーラビリティと高品質な説明を実証する。

提案手法

• クエリの説明やパターン検出とは異なる、ユーザー主導のデータ探索操作の興味の度合いを説明するという、新しいタスクを提案する。
• 驚きの度合い、最大集合、可視化の推奨事項などの先行研究の原則に基づいて興味の度合いを定義し、理論的・実用的根拠を確保する。
• 潜在的な説明の探索空間をサンプリングおよびプルーニングすることで、効率的に説明を計算するスケーラブルな最適化エンジン（sysopt）を実装する。
• モジュラーなフレームワークを通じてユーザー定義の興味の度合いの指標をサポートし、分野固有のニーズに合わせたカスタマイズを可能にする。
• ユーザーの行動と推奨ビューの両方に対して、人間が理解可能な一貫性のある説明を生成することで、既存のEDAシステムと統合する。
• 合成データと実世界のデータセット（例：Spotify、クレジットカード、製品）を組み合わせて性能と正確性を評価し、データサイズやカラム数の変動に対応する。

実験結果

リサーチクエスチョン

• RQ1 与えられたデータ探索操作がなぜ興味深いとされるかを定義・計算するにはどうすればよいか？
• RQ2 EDAにおける興味の度合いの説明において、意味的で一貫性があり、かつ効率的な説明を生成する際の主な課題は何か？
• RQ3 データサイズと次元数の増加に伴い、提案されたフレームワークはどのようにスケーリングするか？
• RQ4 ユーザー定義の興味の度合いの指標は、実際の現場で効果的に統合され、検証可能か？
• RQ5 最適化されたシステム（sysopt）のパフォーマンスと説明の質は、既存のベースラインと比べてどうか？

主な発見

• sysopt 最適化戦略は、FEDEX フレームワーク全体と同等の品質の説明を生成する一方で、計算時間を大幅に短縮した。
• 1,000万行にまでスケーリングされたデータセットにおいても、sysopt は高い精度（precision@k、Kendall-Tau、nDCG で測定）を維持し、データサイズの変化に対しても精度が安定していた。
• sysopt は、ほとんどのデータセットでベースライン（seedb および rath）を上回るランタイム性能を示し、1,000万行のデータで 62.4 秒（seedb は 154.9 秒）の実行時間を記録した。Spotify データセットでは、データの特性のためわずかに遅くなったが、全体として優れた性能を発揮した。
• このフレームワークは、ユーザー定義の興味の度合いの指標を効果的にサポートしており、既存の文献と整合性を保ちつつカスタマイズ性を維持した。
• インタラクティブなユーザースタディの結果、sysopt を使用したユーザーは、支援なしのEDAを実施したユーザーに比べてはるかに多くのインサイトを発見した。これにより、説明の実用的価値が裏付けられた。
• 改訂されたフレームワークは、*なぜ* 操作が興味深いとされるかを説明することの独自性を明確にした。これは、クエリの出力内容（*何* を返すか）や次に実行すべき操作（*どの* 操作か）を説明する既存の研究とは明確に異なる。