[論文レビュー] Data Programming by Demonstration: A Framework for Interactively Learning Labeling Functions

Sara Evensen, Chang Ge+2 more|arXiv (Cornell University)|Sep 3, 2020

Advanced Database Systems and Queries参考文献 38被引用数 4

ひとこと要約

本論文は、データプログラミングのための非プログラマー向けフレームワークであるData Programming by Demonstration (DPBD) を紹介する。このフレームワークは、ユーザーによる視覚的アノテーションのインタラクティブな提示を通じて、弱い監視下でのラベル関数の作成を可能にし、手動でのルール記述への依存を低減する。Rulerシステムは、ユーザーが提供したスパンレベルのアノテーションと関係性から一般化されたラベル関数を合成し、従来のデータプログラミングと同等のパフォーマンスを達成するとともに、10名のデータサイエンティストを対象としたユーザースタディにおいて、使いやすさとユーザー満足度を顕著に向上させた。

ABSTRACT

Data programming is a programmatic weak supervision approach to efficiently curate large-scale labeled training data. Writing data programs (labeling functions) requires, however, both programming literacy and domain expertise. Many subject matter experts have neither programming proficiency nor time to effectively write data programs. Furthermore, regardless of one's expertise in coding or machine learning, transferring domain expertise into labeling functions by enumerating rules and thresholds is not only time consuming but also inherently difficult. Here we propose a new framework, data programming by demonstration (DPBD), to generate labeling rules using interactive demonstrations of users. DPBD aims to relieve the burden of writing labeling functions from users, enabling them to focus on higher-level semantics such as identifying relevant signals for labeling tasks. We operationalize our framework with Ruler, an interactive system that synthesizes labeling rules for document classification by using span-level annotations of users on document examples. We compare Ruler with conventional data programming through a user study conducted with 10 data scientists creating labeling functions for sentiment and spam classification tasks. We find that Ruler is easier to use and learn and offers higher overall satisfaction, while providing discriminative model performances comparable to ones achieved by conventional data programming.

研究の動機と目的

• データプログラミングにおける高い入り口の障壁を解消すること。具体的には、ラベル関数の作成にプログラミングの知識と深いドメイン専門知識が求められるという点を改善すること。
• ラベル関数を手動で作成する際の認知的・技術的負担を軽減し、ラベル付け意思決定のインタラクティブで視覚的なデモンストレーションに焦点を移すこと。
• プログラミングスキルのない分野の専門家が、データ例との直感的なインタラクションを通じて、ドメイン知識を効果的に貢献できることを可能にすること。
• ユーザーのインタラクションを再利用可能で意味的に意味のあるラベル関数に自動で一般化するシステムの開発。

提案手法

• DPBDフレームワークは、特定のデータ例上で行われたユーザーのインタラクション（スパンレベルのアノテーションと関係性）を収集し、ラベル付けの根拠を表現する。
• ラベル関数はドメイン関係式記法で表現される：{tokens | conditions} ⇒ label。ここで、conditions はトークン上の連言的ブール述語である。
• 合成器は初期のルールを、トークンを再利用可能な概念に置き換えることで一般化し、位置制約または共起制約を適用し、変換関数（例：語彙素への還元）を適用する。
• 一般化のスコアは G(r) = ∏|c.rhs| で計算され、より多くのデータインスタンスに適用可能なルールを優遇する。
• ルールは一般化スコア順にランク付けされ、ユーザーに提示され、効率的なルール選定が可能になる。
• システムは選択されたルールを実行可能ラベル関数に変換し、弱い監視下で判別モデルをトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 インタラクティブでデモンストレーションベースのラベル付けは、データプログラミングにおけるラベル関数の作成に必要な作業量と専門知識を削減できるか？
• RQ2 ユーザーのデモンストレーションから生成されたラベル関数の品質は、熟練した専門家が手作業で書いたものと比べてどうか？
• RQ3 提案されたフレームワークは、従来のデータプログラミングと比較して、使いやすさ、習得のしやすさ、ユーザー満足度をどの程度向上させるか？
• RQ4 合成器は、モデルのパフォーマンスに損なわれることなく、ユーザーのインタラクションを意味的に意味のある効果的なラベル関数に一般化できるか？

主な発見

• 10名のデータサイエンティストを対象としたユーザースタディにおいて、Rulerは従来のデータプログラミングと比較して、ユーザー満足度と使いやすさの認識が顕著に向上した。
• Rulerが生成したラベル関数を用いてトレーニングされたモデルの予測性能は、Snorkelから得た手作業で書かれたラベル関数を用いたものと同等であった。
• ユーザーは、直感的な視覚的インタラクションとプログラミング知識の必要性の低減のおかげで、Rulerが学びやすく使いやすいと感じた。
• 合成器は、ユーザーのインタラクションを、ラベル付き例のカバー率が高く、冗長性が最小限に抑えられた効果的なラベル関数の集合に成功して一般化した。
• 本フレームワークは、明示的なルール作成ではなく、インタラクティブなデモンストレーションを通じてドメイン知識を効果的に捉えることが可能であることを示した。
• オープンソースのRulerシステムと研究用アーティファクトは公開されており、再現性とさらなる研究を支援している。