[論文レビュー] MetaPAD: Meta Pattern Discovery from Massive Text Corpora

Meng Jiang, Jingbo Shang+5 more|arXiv (Cornell University)|Mar 13, 2017

Topic Modeling参考文献 23被引用数 15

ひとこと要約

MetaPADは、文脈に配慮したセグメンテーション、同義語パターンのグループ化、適応的エンティティタイプ階層の調整を用いて、大規模なテキストコーパスにおける効率的で高品質なタイプ付きパターン発見のための新しいメタパターンフレームワークを提案する。依存構文解析を用いないにもかかわらず、F1スコア（最大0.42）と効率性において、PATTY や Ollie より優れている。31GBのツイートを2時間未満で処理できる。

ABSTRACT

Mining textual patterns in news, tweets, papers, and many other kinds of text corpora has been an active theme in text mining and NLP research. Previous studies adopt a dependency parsing-based pattern discovery approach. However, the parsing results lose rich context around entities in the patterns, and the process is costly for a corpus of large scale. In this study, we propose a novel typed textual pattern structure, called meta pattern, which is extended to a frequent, informative, and precise subsequence pattern in certain context. We propose an efficient framework, called MetaPAD, which discovers meta patterns from massive corpora with three techniques: (1) it develops a context-aware segmentation method to carefully determine the boundaries of patterns with a learnt pattern quality assessment function, which avoids costly dependency parsing and generates high-quality patterns; (2) it identifies and groups synonymous meta patterns from multiple facets---their types, contexts, and extractions; and (3) it examines type distributions of entities in the instances extracted by each group of patterns, and looks for appropriate type levels to make discovered patterns precise. Experiments demonstrate that our proposed framework discovers high-quality typed textual patterns efficiently from different genres of massive corpora and facilitates information extraction.

研究の動機と目的

• 依存構文解析の高コストと文脈の豊かさの損失といった大規模テキストマイニングにおける課題を解決する。
• エンティティの周囲の豊かな文脈を保ったまま、頻度が高く、情報量が多く、正確なタイプ付きテクストパターン（「メタパターン」として導入）を発見する。
• タイプ、文脈、抽出結果の複数の側面にわたる同義語メタパターンをグループ化し、スパarsityを低減し、知識ベースのカバレッジを向上させる。
• エンティティタイプの粒度を動的に調整することで、パターンタイプ指定の正確性を保証する。
• 高品質な出力を維持しながら、高コストな解析を回避する効率的でスケーラブルなフレームワークを構築する。

提案手法

• 依存構文解析を用いないで、学習されたパターン品質評価関数を用いた文脈に配慮したセグメンテーションにより、パターン境界を定義する。
• エンティティタイプ、文脈語、抽出インスタンスの統合特徴に基づいて、同義語メタパターンをクラスタリングする。
• エンティティタイプの分布を抽出インスタンスで分析することで、最適な粒度を選択する上位および下位からのタイプ階層調整戦略。
• C++を用いたセグメンテーションとPythonを用いたグループ化およびタイプ調整の効率的実装により、コーパスサイズに比例する線形スケーラビリティを実現する。
• 情報量が多く、自己完結的で正確な部分列をメタパターンとして優先的に学習するパターン品質評価関数。
• フレームワークのモジュラー設計により、セグメンテーション、グループ化、タイプ調整の各コンponentを独立して評価可能である。

実験結果

リサーチクエスチョン

• RQ1 どのようにして高品質で文脈豊富なタイプ付きテキストパターンを、高価な依存構文解析に依存せずに大規模コーパスから発見できるか？
• RQ2 タイプ、文脈、抽出結果の複数の側面にわたる同義語メタパターンを、意味的類似性を保ちながら効果的にグループ化する技術は何か？
• RQ3 自動的に適切なエンティティタイプ粒度を特定することで、発見されたパターンの正確性を保証するにはどうすればよいか？
• RQ4 依存パスベースの手法と比較して、文脈に配慮したセグメンテーションはパターン品質をどの程度向上させるか？
• RQ5 提案されたフレームワークは、既存の最先端手法を上回るパターン品質と抽出パフォーマンスを維持しながら、大規模コーパスに効率的にスケーリングできるか？

主な発見

• MetaPADは、国:大統領 や 会社:CEO といった新しい属性を発見する際、TAC KBPコンペティションの最良ベースライン（0.3430）を上回るF1スコア（0.38～0.42）を達成した。
• APRおよびTWTのデータセットにおいて、それぞれ2,400個のラベル付きEAVタプルのうち1,355個、2,090個のうち1,111個を発見した—正解の半数以上をカバーした。
• MetaPAD-TおよびMetaPAD-B（グループ化なし）は、APRではF1で19.4%、TWTでは78.5%高い性能を示し、AUCでもAPRで27.6%、TWTで115.3%高い性能を示した。
• パターングループ化とタイプ調整を追加したMetaPAD-TSおよびMetaPAD-BSは、それぞれMetaPAD-TおよびMetaPAD-Bに対してF1を14.8%、16.8%向上させた。
• MetaPADは31GBのツイートデータを2時間未満で処理したが、PATTYは7.3時間、Ollieは28.4時間かかった。これはコーパスサイズに比例する線形スケーラビリティを示している。
• ツイートデータでは粗いタイプ指定のおかげでMetaPAD-T(S)がMetaPAD-B(S)を上回ったが、CEO や大統領といった細粒度のエンティティを持つニュースデータでは、MetaPAD-B(S)が優れた性能を示した。