[論文レビュー] TweeTime: A Minimally Supervised Method for Recognizing and Normalizing Time Expressions in Twitter

Jeniya Tabassum, Alan Ritter+1 more|arXiv (Cornell University)|Aug 9, 2016

Advanced Text Analysis Techniques参考文献 40被引用数 6

ひとこと要約

TweeTIME は、既知の出来事データベースを用いた遠隔監視を活用してトレーニングデータを自動生成することで、手動アノテーションやルール設計を回避する最小限の監視付き時系列正規化システムである。TweeTIME は、SUTime や HeidelTime、TempEx、UWTime よりも顕著に優れた性能を示し、ソーシャルメディアのテキストにおいて、エンドツーエンドの時系列正規化で F1 スコア 0.68 を達成した。

ABSTRACT

We describe TweeTIME, a temporal tagger for recognizing and normalizing time expressions in Twitter. Most previous work in social media analysis has to rely on temporal resolvers that are designed for well-edited text, and therefore suffer from the reduced performance due to domain mismatch. We present a minimally supervised method that learns from large quantities of unlabeled data and requires no hand-engineered rules or hand-annotated training corpora. TweeTIME achieves 0.68 F1 score on the end-to-end task of resolving date expressions, outperforming a broad range of state-of-the-art systems.

研究の動機と目的

• ニュースリポートや臨床テキスト向けに設計された既存のシステムが、非公式でノイズの多いソーシャルメディアのテキストでは性能を発揮できないという課題に対処すること。
• ソーシャルメディアの時系列タギングに、高価な手動アノテーションデータや手作業で設計されたルールに依存しないこと。
• 大規模なラベルなしツイートと既知の出来事データベースから学習できるスケーラブルでエンドツーエンドのシステムを開発すること。
• ソーシャルメディアの文脈において曖昧な時系列表現（例：「月曜日」が将来の日付を指す場合）を解消する性能を向上させること。
• 重複するヒューリスティックラベルを用いた遠隔監視を活用することで、リソースが限られた環境でも頑健な時系列正規化を実現すること。

提案手法

• 本システムは遠隔監視の仮定を用いる：特定の出来事の中心的エンティティをその出来事の日付の周辺でツイートしている場合、そのツイートはその出来事の日付を指す時系列表現を含む可能性が高い。
• 複数インスタンス学習を適用して、単語レベルと文レベルの時系列タグを同時にモデル化し、同じツイートからの重複ラベルを処理する。
• 予測されたタグと語彙的特徴に基づいて、ロジスティック線形モデルをトレーニングし、時系列表現を暦日付に正規化する。
• 未観測または欠落した時系列的性質をモデル化することで、ヒューリスティックラベリングの誤りを是正する、強化された欠損データモデルを導入する。
• スポーツの試合やコンサートなどの既知の出来事のデータベースを用い、ツイートの作成時刻からの相対的性質（曜日、月の日付、過去／未来）といった時系列的性質をヒューリスティックにラベルづける。
• 正規化された日付と信頼性スコアを出力することで、再現率と適合率のトレードオフを可能にする。

実験結果

リサーチクエスチョン

• RQ1 ドメイン内アノテーションや手作業で設計されたルールなしで、最小限の監視付き手法がツイッターにおける時系列表現正規化で高い性能を達成できるか？
• RQ2 既知の出来事とエンティティの言及を用いた遠隔監視が、ソーシャルメディアの時系列タギングのトレーニングデータを信頼性高く生成できるか？
• RQ3 曖昧または暗黙の時系列参照を含むツイートから得られる重複する時系列ラベルをモデル化する際、複数インスタンス学習はどの程度有効か？
• RQ4 ヒューリスティックラベリングの誤りを是正する欠損データモデルは、正規化精度をどの程度向上できるか？
• RQ5 大規模なラベルなしツイートと出来事データベースから学習することで、限られたコーパスでトレーニングされたルールベースや監視付きシステムよりも一般化性能が向上するか？

主な発見

• TweeTIME は、ツイッターにおけるエンドツーエンドの時系列正規化タスクで F1 スコア 0.68 を達成し、SUTime よりも相対的に 17% の向上を示した。
• 同じツイッターベンチマークにおいて、HeidelTime や TempEx、UWTime といった最先端のシステムをすべて上回った。
• 既知の出来事を利用した遠隔監視により、手動アノテーションデータやルール設計なしに効果的なトレーニングが可能になった。
• 欠損データモデルにより、ヒューリスティックラベリングからの誤り伝播が軽減され、全体の正規化精度が向上した。
• 信頼性スコアの出力により、ユーザーが再現率と適合率のトレードオフを制御でき、実用性が向上した。
• 著者らの知る限り、TweeTIME はソーシャルメディアに特化した最初のエンドツーエンドの時系列解決システムであり、同時に複数のタスクを統合して遠隔監視を適用した最初のシステムである。