[論文レビュー] Man [and Woman] vs. Machine: A Case Study in Base Noun Phrase Learning

Eric Brill, Grace Ngai|ArXiv.org|May 2, 2001

Natural Language Processing Techniques参考文献 14被引用数 4

ひとこと要約

本稿は、手動でアノテートされたコーパスからベース名詞句の抽出ルールを学習する際の、人間と機械のパフォーマンスを比較している。ルールベースのシステムと人間の被験者を用いた研究では、機械が低頻度のパターンで人間を上回るが、訓練を受けていない人間は高頻度のパターンにおいて機械に匹敵するパフォーマンス（再現率93.5％ 対 93.7％）を達成しており、効果的なツールと表現言語の支援を受ければ人間の潜在能力が顕著に現れることを示唆している。

ABSTRACT

A great deal of work has been done demonstrating the ability of machine learning algorithms to automatically extract linguistic knowledge from annotated corpora. Very little work has gone into quantifying the difference in ability at this task between a person and a machine. This paper is a first step in that direction.

研究の動機と目的

• 人間と機械がアノテート済みコーパスから言語一般化を抽出する相対的な能力を定量化すること。
• 訓練を受けていない人間が、機械学習アルゴリズムと同等の速さと正確さで、ベース名詞句抽出の有効なルールベースシステムを学習できるかを調査すること。
• 特にコーパスからのルール抽出において、人間と機械の学習の補完的強みを自然言語処理分野で探ること。
• 人間のルール作成者が、マニュアル手法の知られている弱みである低頻度の言語的パターンを捉える能力に制限を克服できるかを評価すること。
• 人間の知見と機械学習を組み合わせたハイブリッドシステムが、言語的知識抽出の向上にどの程度貢献できるかを評価すること。

提案手法

• ベンチマークとして、Penn Treebankの20万語分を学習データとして使用したRamshawとMarcus（R&M）の変換ベースの機械学習システムを採用した。
• 単語と品詞タグの正規表現に基づく、人間が読みやすいルール言語を設計した。この言語は、ブレケット化、無効化、変換、ベースNPsのマージといった操作をサポートした。
• 20万語の学習コーパスからベース名詞句を同定するため、10名の訓練を受けていない被験者に手動でルールを書く実験を実施した。
• テストセットの再現率を用いてパフォーマンスを評価し、機械学習システムと比較して、被験者のルールセット（上位3名）が品詞タグ列の異なる頻度帯でどのように性能を示すかを分析した。
• 学習コーパスにおける品詞タグ列の頻度ごとにパフォーマンスを分析し、再現率と頻度の関係をプロットすることで、パフォーマンスのギャップを特定した。
• 自作の可視化ツール（図4にスクリーンショットあり）を用いて、人間のルール作成とコーパスの探索を支援した。

実験結果

リサーチクエスチョン

• RQ1 訓練を受けていない人間は、手動でアノテートされたコーパスからベース名詞句抽出ルールを学習し、機械学習システムと同等のパフォーマンスを達成できるか？
• RQ2 品詞タグ列の頻度帯ごとに、人間のパフォーマンスは機械のパフォーマンスとどのように異なるか？
• RQ3 コーパスからの言語ルール習得において、人間と機械の学習行動の主な違いは何か？
• RQ4 人間は低頻度または希少な言語的パターンにおいて機械を上回ることができるか。その理由は何か？
• RQ5 コーパス分析ツールの支援を受けることで、人間のルール作成は希少パターンの処理能力をどの程度向上できるか？

主な発見

• 学習コーパス内で6回以上出現するベース名詞句の品詞タグ列については、上位3名の被験者が93.5％の再現率を達成したのに対し、機械は93.7％を記録し、差は統計的に有意でなかった。
• 低頻度の構成素（6回未満出現）では、機械が人間を上回り、再現率62.8％ 対 上位3名の学生で54.8％を記録した。
• 3回出現するシーケンスでは顕著な異常が観察された：機械は数字列（例："1 3/8"）を1つの名詞句として誤って処理する傾向があり、再現率が著しく低下したが、人間はこの誤りを回避した。
• 人間は極めて低頻度のパターンを対象とするルールの作成に対して、抵抗または無力さを示したのに対し、機械は数百のこのようなルールを効率的に学習できた。
• 最小限の訓練しか受けていない被験者でも、共通のパターンに対して高いパフォーマンスを達成しており、適切な表現とツールがあれば、人間のルール作成は機械の正確さに近づける可能性があることが示された。
• 本研究は、機械学習がマニュアルルール作成よりも本質的にポータブルまたは効率的であるという前提を疑問視しており、小規模な学習コーパスに対して約40ドルの労働コストで、人間がほぼ最適な結果を達成したことが示された。