[論文レビュー] What did you Mention? A Large Scale Mention Detection Benchmark for Spoken and Written Text

Yosi Mass, Lili Kotlerman+4 more|arXiv (Cornell University)|Jan 23, 2018

Topic Modeling参考文献 8被引用数 5

ひとこと要約

この論文は、Wikipediaとノイズの多い音声データをカバーする、書記テキストおよび spoken テキストにおけるメンション検出のための大規模かつ高品質なベンチマークを紹介する。名前付きエンティティと一般エンティティを含み、厳密なガイドラインに従った制御されたクラウドソーシングプロセスにより構築されたこのベンチマークは、各データセットに約6,500件のメンションを含む。最先端のシステム、TagMeは、クリーンなテキストではF1スコア0.552、ASR出力の音声では0.478を達成し、ノイズの多いドメインにおける一般エンティティ検出の難しさを示している。

ABSTRACT

We describe a large, high-quality benchmark for the evaluation of Mention Detection tools. The benchmark contains annotations of both named entities as well as other types of entities, annotated on different types of text, ranging from clean text taken from Wikipedia, to noisy spoken data. The benchmark was built through a highly controlled crowd sourcing process to ensure its quality. We describe the benchmark, the process and the guidelines that were used to build it. We then demonstrate the results of a state-of-the-art system running on that benchmark.

研究の動機と目的

• 書記テキストおよび spoken テキストの両方をカバーする、名前付きエンティティと一般エンティティを含む包括的なベンチマークの不足を解消すること。
• クリーンな書記テキストおよびノイズの多い音声データの両方で、メンション検出ツールを評価できる高品質でスケーラブルなベンチマークを開発すること。
• 一般エンティティ検出におけるネストされたメンションおよびエンティティの特異性の取り扱いについて、明確で一貫性のあるアノテーションガイドラインを確立すること。
• 文書全体におけるメンションの完全なカバレッジを必要とするシステムの評価を可能にすること。最初の出現のみを対象とするのではなく、全文書をカバーする必要がある。
• 包括的で多様なトレーニングおよび評価データを通じて、深層的な意味理解を必要とするNLPアプリケーションの開発を支援すること。

提案手法

• ベンチマークは2段階のクラウドソーシングプロセスを用いて構築された。まず、1文あたり10名のラベルラーがオープンエンドのメンション検出を実施。次に、共有された候補リストから検出されたメンションをラベルラーが確認または拒否した。
• Wikipedia（Wiki）、手動で転写された音声（Trans）、自動音声認識（ASR）出力（ASR）からそれぞれ1,000文ずつを抽出し、それぞれが独立したデータセットを形成した。
• ネストされたメンション、エンティティの特異性、一般エンティティの種別についての明確なアノテーションガイドラインを定義し、アノテーター間の一貫性を確保した。
• アノテーター間整合性は重み付きカッパ係数で測定され、検出タスクではWikiで0.30、Transで0.34、確認タスクではWikiで0.47、Transで0.54であった。これにより、ベンチマークの品質とカバレッジが裏付けられた。
• ベンチマークは再現可能なメンション検出システムの評価を支援するため、公開してダウンロード可能にした。
• 最先端のシステム、TagMeは、ネストされたメンションを回避し、より長いフレーズを優先するように設定され、ベンチマークのガイドラインに整合させた上で評価された。

実験結果

リサーチクエスチョン

• RQ1 書記テキストおよび spoken テキストの両方をカバーする、名前付きエンティティと一般エンティティを含む大規模かつ高品質なメンション検出ベンチマークをどのように構築できるか？
• RQ2 一般エンティティのアノテーションにおける主な課題、特にネストと特異性に関連する課題は何か。それらを一貫して解決するにはどうすればよいか？
• RQ3 最先端のメンション検出システムの性能は、クリーンなテキスト（Wikipedia）とノイズの多い音声データ（ASRおよび転写音声）の間でどのように変化するか？
• RQ4 文書全体にわたるメンションの完全なカバレッジが、テキスト類似度などのNLPタスクにおける意味理解の向上にどの程度寄与するか？
• RQ5 一般エンティティ検出とカバレッジに重点を置いたベンチマークにおいて、単純なルールベースまたはリtrieバルベースのシステムが、複雑なニューラルモデルを上回る可能性はあるか？

主な発見

• ベンチマークにはWikipediaの1,000文、転写音声の1,000文、ASR出力の1,000文が含まれており、各データセットに約6,500件のメンションが含まれる。ASRおよびTransデータセットでは、名前付きエンティティはたった84件にとどまる。
• 1文あたりのメンションの平均数は6.2であり、同じメンションが複数回出現するなど、テキスト全体にわたりエンティティが高カバレッジで含まれていることが示された。
• 検出タスクのアノテーター間整合性は中程度（Wikiでkappa=0.30、Transでkappa=0.34）であり、タスクのオープンエンド性を反映している。一方、確認タスクの整合性はより高く（Wikiでkappa=0.47、Transでkappa=0.54）で、高品質なゴールドスタンダードの構築が裏付けられた。
• TagMeはWikipediaテストセットでF1スコア0.552、転写音声セットで0.494、ASR出力音声セットで0.478を達成し、ノイズレベルの上昇に伴い性能が低下していることが示された。
• ベンチマークは、一般エンティティがメンションの大部分（90％以上）を占めていることを明らかにした。これは、評価およびシステム設計において一般エンティティを含める重要性を示している。
• 結果から、現在の最先端システムは、ノイズの多い音声データにおける一般エンティティ検出に特に苦戦していることが示され、NLPの評価および開発における重要なギャップが浮き彫りになった。