[論文レビュー] Real-time On-Demand Crowd-powered Entity Extraction

Ting-Hao Huang, Yun-Nung Chen+1 more|arXiv (Cornell University)|Apr 12, 2017

Mobile Crowdsensing and Crowdsourcing参考文献 26被引用数 3

ひとこと要約

本稿では、ラベル付き学習データを必要とせずに、ユーザー発話からエンティティを抽出するリアルタイムでコローシャルなエンティティ抽出システムを提案する。マルチプレイヤー対話型ESPゲームを用いることで、クラウドワーカーの合意形成を活用し、複雑なクエリにおいてCRFベースライン比でF1スコアが36.5%および27.1%高い結果を達成した。応答時間は約8秒であり、Google Hangoutsのようなリアルタイム対話システムへの実現可能性が示された。

ABSTRACT

Output-agreement mechanisms such as ESP Game have been widely used in human computation to obtain reliable human-generated labels. In this paper, we argue that a "time-limited" output-agreement mechanism can be used to create a fast and robust crowd-powered component in interactive systems, particularly dialogue systems, to extract key information from user utterances on the fly. Our experiments on Amazon Mechanical Turk using the Airline Travel Information System (ATIS) dataset showed that the proposed approach achieves high-quality results with an average response time shorter than 9 seconds.

研究の動機と目的

• データ不足、言語の多様性、未知語の存在に起因する自動エンティティ抽出の脆弱性を是正すること。
• ラベル付き学習データを必要としないリアルタイムでオンデマンドのエンティティ抽出手法を開発すること。
• リアルタイムのインスタントメッセージング環境におけるコローシャルなエンティティ抽出の実現可能性と性能を評価すること。
• リアルタイムのクラウドソーシングにおける応答時間と抽出精度のトレードオフを明らかにすること。
• 未確認または複雑なクエリに対しても、クラウドワーカーの合意形成によって信頼性高くエンティティを抽出できることを示すこと。

提案手法

• ワーカーに発話文を提示し、時間制限内で特定のエンティティを特定するマルチプレイヤー対話型ESPゲームインターフェースを採用する。
• ワーカーの回答を集約し、複数のワーカーで一致する部分をもとに最終的な抽出エンティティを決定することで、合意形成による品質向上を実現する。
• インターフェースにタイマーを設け、リアルタイム展開に向けた遅延低減を図る。
• ATISデータセットおよび10名のユーザーを対象に実施したGoogle Hangoutsのテキストチャットを通じて、実世界での性能を評価する。
• MTurkにおけるタスクルーティング遅延がエンドツーエンドの応答時間に影響を与える主なボトルネックであることが特定された。
• 将来的には自動化コンponentの統合を想定し、人的労働への依存を減らし、スケーラビリティを向上させる設計となっている。

実験結果

リサーチクエスチョン

• RQ1 対話型ESPゲームを用いたリアルタイムのクラウドソーシングは、ラベル付き学習データを必要とせずに、正確なエンティティ抽出を達成できるか？
• RQ2 コローシャルなシステムの応答時間は、自動化ベースラインと比較してどうなっており、リアルタイム対話アプリケーションに適しているか？
• RQ3 合意に基づくアプローチは、未知語や言語的多様性のある入力に対してどれほど耐性を示すか？
• RQ4 タスクルーティング遅延がエンドツーエンドのシステムパフォーマンスに与える影響は何か？また、どのように軽減できるか？
• RQ5 クラウドソーシングによる回答は、自動エンティティ抽出モデルのブートストラップに効果的に利用できるか？

主な発見

• ATISデータセットのクラスDクエリにおいて、コローシャルな手法はCRFベースライン比でF1スコアを36.5%向上させた。
• クラスXクエリでは、CRFベースライン比でF1スコアが27.1%向上した。
• 平均エンドツーエンド応答時間は約8秒であり、タスク開始後40.95秒目に最初の一致回答が得られた。
• インスタントメッセージングにおけるユーザーが体感する理論的応答時間は10〜14秒と推定され、実世界の平均24秒の応答時間よりも速い。
• MTurkにおけるタスクルーティング遅延が主なボトルネックであり、5〜40秒の範囲にあり、一部のタスクで有効期限切れが発生した。
• 10名のユーザーを対象に実施したGoogle Hangoutsのテキストチャットを通じた実世界での展開において、本システムが実現可能であり、耐障害性と低遅延性能を確認した。