[論文レビュー] SemTUI: a Framework for the Interactive Semantic Enrichment of Tabular Data

Marco Ripamonti, Flavio De Paoli+1 more|arXiv (Cornell University)|Mar 17, 2022

Data Quality and Management被引用数 4

ひとこと要約

SemTUI は、人間によるフィードバックを組み込んだインタラクティブなフレームワークであり、専門家および非専門家が自動レセプションおよび拡張サービスを用いて表形式データの意味的拡張を容易に実行できる。自然言語処理による高精度なユーザーフレンドリーなインターフェースを備え、評価では使いやすさ、効率性、信頼性に優れ、多様なユーザーパロールにおいて高い満足度とタスク効果性を示した。

ABSTRACT

The large availability of datasets fosters the use of \acrshort{ml} and \acrshort{ai} technologies to gather insights, study trends, and predict unseen behaviours out of the world of data. Today, gathering and integrating data from different sources is mainly a manual activity that requires the knowledge of expert users at an high cost in terms of both time and money. It is, therefore, necessary to make the process of gathering and linking data from many different sources affordable to make datasets ready to perform the desired analysis. In this work, we propose the development of a comprehensive framework, named SemTUI, to make the enrichment process flexible, complete, and effective through the use of semantics. The approach is to promote fast integration of external services to perform enrichment tasks such as reconciliation and extension; and to provide users with a graphical interface to support additional tasks, such as refinement to correct ambiguous results provided by automatic enrichment algorithms. A task-driven user evaluation proved SemTUI to be understandable, usable, and capable of achieving table enrichment with little effort and time with user tests that involved people with different skills and experiences.

研究の動機と目的

• データサイエンスワークフローにおける異種データソース間の手動統合の高コストおよび高複雑性を解消すること。
• 専門知識に依存するのを減らし、非専門家が直感的なインターフェースを通じて表形式データの意味的拡張を実行できるようにすること。
• 意味的技術を用いて、外部サービスの統合を柔軟に可能にするレセプションおよびデータ拡張のためのフレームワークを提供すること。
• ユーザー主導の精錬を組み込むことで、曖昧な結果の自動エンティティリンクの正確性を向上させること。
• 長期的な保守性と再利用性を支援するモジュラーで拡張可能なアーキテクチャを設計すること。

提案手法

• フレームワークは、外部サービスとのインターフェースを提供する「トランスフォーマー」としてのプラグ可能なコンponentsを備えたモジュラー・アーキテクチャを採用している。
• 知識グラフ（例：Wikidata）における一意な識別子へのエンティティのマッピングを意味的技術で実現し、曖昧な解消と標準化を可能にしている。
• グラフィカルユーザーインターフェース（GUI）がインタラクティブなエンティティリンクを支援し、ユーザーが自動アルゴリズムの提案を確認・受容・拒否・精錬できるようにしている。
• ユーザーが曖昧または誤った一致を修正する「精錬タスク」をサポートし、人間の知見とアルゴリズムの提案を統合している。
• ユーザーは拡張ワークフローを保存・エクスポートでき、類似データセットへの再利用や最適化されたスクリプトとしての実行が可能になる。
• 使いやすさ、満足度、認識された効果性を評価するために、UEQ（User Experience Questionnaire）ベンチマークを用いたユーザーテストを実施した。

実験結果

リサーチクエスチョン

• RQ1 非専門家が利用可能なインタラクティブなフレームワークとして、表形式データの意味的拡張をどのように設計できるか？
• RQ2 人間主導のフィードバックを組み込んだ精錬が、表形式データにおける自動エンティティ統合の正確性をどの程度向上できるか？
• RQ3 モジュラーでサービスベースのアーキテクチャは、多様な外部データソースの統合を拡張にどの程度効果的にサポートできるか？
• RQ4 異なる技術的背景を持つユーザーにとって、意味的拡張ツールの使いやすさとユーザーエクスペリエンスはどのように評価されるか？
• RQ5 直感的で学習しやすく、高い効率性と信頼性を備えたフレームワークは、意味的拡張において実現可能か？

主な発見

• UEQ使いやすさベンチマークにおいて、効率性、信頼性、刺激性の各項目で優れたスコアを達成しており、ユーザーのパフォーマンスとシステムの信頼性が高く評価された。
• 魅力性と新規性については「良い」評価を得たが、明確性（Perspicuity）については「平均未満」であり、明確さと学習のしやすさの向上に余地があることが示された。
• ユーザーテストの結果、多様な技術的スキルを持つユーザーがシステムを理解し、使いこなせることを確認でき、非専門家による採用が可能であることが裏付けられた。
• モジュラーな「トランスフォーマー」アーキテクチャにより、外部サービスのシームレスな統合と交換が可能となり、拡張性と長期的保守性が確保された。
• 拡張タスクの記録とエクスポートが可能で、将来の大規模データセットへの再利用や自動化が可能になった。
• 評価結果から、人間主導の精錬が曖昧な統合結果の品質を顕著に向上させ、全体のデータ正確性が向上することが明らかになった。