[論文レビュー] Bagging and Boosting a Treebank Parser

John C. Henderson, Eric Brill|ArXiv.org|Jun 5, 2000

Natural Language Processing Techniques参考文献 11被引用数 37

ひとこと要約

この論文は、Penn Treebank で学習された統計的依存解析器にバギングおよびブースティング——アンサンブル機械学習手法——を適用し、テストデータで F-スコアが 0.8 向上した。これは、学習コーパスのサイズを 2 倍した場合と同等の効果に相当する。ブースティングプロセスはまた、Treebank におけるアノテーションの不整合性を露呈し、それらを特定するための準自動的手法を可能にした。

ABSTRACT

Bagging and boosting, two effective machine learning techniques, are applied to natural language parsing. Experiments using these techniques with a trainable statistical parser are described. The best resulting system provides roughly as large of a gain in F-measure as doubling the corpus size. Error analysis of the result of the boosting technique reveals some inconsistent annotations in the Penn Treebank, suggesting a semi-automatic method for finding inconsistent treebank annotations.

研究の動機と目的

• 追加の学習データを増やさずにアンサンブル手法を用いて解析精度を向上させること。
• バギングおよびブースティングが単一の解析器誘導アルゴリズムの性能を向上させられるかどうかを評価すること。
• ブースティングが Penn Treebank のアノテーションにおける不整合を明らかにできるかどうかを調査すること。
• アンサンブル手法による性能向上を、学習コーパスサイズを倍増させた場合の期待される向上と比較すること。
• ツリーバンクデータにおける不整合アノテーションを半自動的に検出する手法を開発すること。

提案手法

• バギングは、リサンプリング（復元抽出）により学習コーパスから k 個のブートストラップ再サンプルを生成し、それぞれに対して別個の解析器を学習する。
• テスト文の最終的な解析は、アンサンブルに含まれる k 個の解析器の予測を多数決によって決定する。
• ブースティングは、予測誤差に基づいて訓練インスタンスを繰り返し再重み付けし、後続のラウンドで解析が難しい文に注目する。
• 最終的なアンサンブルは、各弱学習器の誤差率に基づく重みを用いて、ブースティングの順序に従ってすべての予測を組み合わせる。
• ブースティング結果の誤差解析により、文間で矛盾するアノテーションパターンが特定され、Treebank における不整合が示唆された。
• ブースティングプロセスにおける特徴量の重み分布と予測誤差から、不整合アノテーションを検出するための準自動的手法が導出された。

実験結果

リサーチクエスチョン

• RQ1 バギングおよびブースティングは、追加の学習データなしに、単一の統計的解析器の F-スコアを顕著に向上させることができるか？
• RQ2 アンサンブル手法による性能向上は、学習コーパスサイズを 2 倍した場合に期待される向上と比べてどの程度か？
• RQ3 ブースティングプロセスは、個々の解析では見えない、Penn Treebank のアノテーション不整合を明らかにできるか？
• RQ4 アンサンブル学習アルゴリズムの出力を利用して、ツリーバンクにおけるアノテーション不整合を半自動的に検出する方法はあるか？
• RQ5 アンサンブル手法は、F-スコアの向上を図る一方で、正確な文一致率を維持または向上させることができるか？

主な発見

• 最良のバギングシステムは、テストセットで F-スコアが 0.8 向上し、これは学習コーパスサイズを 2 倍した場合の期待される向上と同等であった。
• バギングアンサンブルは、テスト F-スコアを 88.63 から 89.19 に向上させ、正確な文一致率は 1.4% 増加（34.9% から 34.7%）した。
• ブースティングはテストセットで F-スコアを 0.79 向上させたが、バギングに劣っており、Penn Treebank に 100 個の高重みの不整合木を特定した。
• 訓練曲線から、コーパスサイズを 10,000 文から 40,000 文に倍増させると、約 0.7 F-スコアの向上が得られ、バギングによる 0.6 の向上と密接に一致する。
• ブースティングプロセスにより、100 個の木構造に矛盾するアノテーションが特定され、解析器はそれぞれの構造を個別に学習可能だが、コーパス全体で一貫性がないことが判明した。
• 準自動不整合検出手法は、アノテーションルールに関する事前知識を一切不要であり、矛盾する構文構造を持つ文のペアを的確に特定した。