[論文レビュー] Forgetting Exceptions is Harmful in Language Learning

Walter Daelemans, Antal van den Bosch+1 more|ArXiv.org|Dec 22, 1998

Topic Modeling参考文献 7被引用数 40

ひとこと要約

この論文は、機械学習における一般的な常識である「例外を除去することで一般化性能が向上する」という考えに挑戦し、自然言語処理タスクにおいて、稀なまたは例外的なインスタンスをすべて保持することが、より高い精度をもたらすことを実証的に示している。メモリベース学習（ib1-ig）を用い、編集済みバージョンや決定木法（c5.0, igtree）と比較することで、言語データの高い排他的性（disjunctivity）のため、例外や部分的な規則性を無視することは性能を損なうことが明らかになった。ここでの例外や部分的規則性はノイズではなく、正確な一般化に不可欠な要因である。

ABSTRACT

We show that in language learning, contrary to received wisdom, keeping exceptional training instances in memory can be beneficial for generalization accuracy. We investigate this phenomenon empirically on a selection of benchmark natural language processing tasks: grapheme-to-phoneme conversion, part-of-speech tagging, prepositional-phrase attachment, and base noun phrase chunking. In a first series of experiments we combine memory-based learning with training set editing techniques, in which instances are edited based on their typicality and class prediction strength. Results show that editing exceptional instances (with low typicality or low class prediction strength) tends to harm generalization accuracy. In a second series of experiments we compare memory-based learning and decision-tree learning methods on the same selection of tasks, and find that decision-tree learning often performs worse than memory-based learning. Moreover, the decrease in performance can be linked to the degree of abstraction from exceptions (i.e., pruning or eagerness). We provide explanations for both results in terms of the properties of the natural language processing tasks and the learning algorithms.

研究の動機と目的

• 教師あり学習における、例外を除去することで一般化性能が向上するという広く信じられている信念に挑戦すること。
• メモリベース学習における訓練セット編集が、自然言語処理タスクにおける一般化精度に与える影響を調査すること。
• 言語データにおける一般化性能の観点から、メモリベース学習と決定木学習を比較すること。
• 決定木学習が、非常に排他的な言語データにおいてなぜメモリベース学習に劣るのかを説明すること。
• プルーニングや特徴の抽象化が、言語学習の文脈におけるモデル性能に与える影響を分析すること。

提案手法

• 低典型性または低クラス予測強度に基づいてインスタンスを削除する編集済みib1-igバージョンと、ib1-ig（メモリベース学習）を実証的に比較すること。
• 典型性とクラス予測強度（CPS）の2つの基準を用いて訓練セット編集技術を適用し、一般化性能に与える影響を評価すること。
• グラフム音声変換、品詞タグ付け、前置詞句の付着、基本名詞句のチャンクングの4つのNLPタスクにおいて、ib1-igと決定木学習アルゴリズムc5.0およびigtreeを比較すること。
• ib1-igにおける特徴重み付けのヒューリスティックおよびc5.0とigtreeにおける分割基準として情報エントロピーを用い、同等の学習原理を保証すること。
• フレンドリー・ネイバー数を用いたインスタンス空間構造の分析により、特徴空間におけるクラスの排他的性とクラスタの同質性を測定すること。
• すべてのタスクと手法において、保留されたテストセットを用いた一般化精度を評価することで、モデル性能を評価すること。

実験結果

リサーチクエスチョン

• RQ1 低典型性または低クラス予測強度のインスタンスをメモリベース学習から除去することで、言語タスクにおける一般化精度が向上するか？
• RQ2 決定木学習は、同等の基本原理を持つにもかかわらず、なぜ言語データにおいて一般的にメモリベース学習に劣るのか？
• RQ3 プルーニングやモデル構築による訓練インスタンスの抽象化が、非常に排他的な言語データにおいて性能に与える影響はどの程度か？
• RQ4 インスタンス空間におけるクラスの排他的性という構造的性質が、異なる学習アルゴリズムの性能に与える影響は何か？
• RQ5 例外を無視することに起因する悪影響は、ノイズではなく、関連する部分的規則性の喪失によるものと特定できるか？

主な発見

• 低典型性または低クラス予測強度に基づく訓練インスタンスの編集は、4つのすべてのNLPタスクにおいて一貫して一般化精度を低下させる。
• メモリベース学習（ib1-ig）は、編集済みib1-igおよび決定木学習（c5.0, igtree）を上回り、テストされたタスクにおいて一般化精度が優れている。
• ib1-igと決定木法との間の性能差は、プルーニングがなくても、決定木において特定のスキーマ（部分一致インスタンス集合）にアクセスできないことが主な要因である。
• プルーニングは、特にgs（グラフム音声変換）タスクにおいて、再発生する低頻度・高例外インスタンスを削除することで、性能をさらに損なう。
• インスタンス空間におけるクラスの高い排他的性—つまり、同質な領域が小さく散在している—が、なぜ例外がノイズではなく、正確な分類に不可欠であるかを説明している。
• 高典型性・高CPSのインスタンスを最大20％まで編集しても、最も害が少ないが、依然として利益がないため、選択的除外に利点がないことが示唆される。