[論文レビュー] Unsupervised Language Acquisition

Carl G. de Marcken|ArXiv.org|Nov 12, 1996

Algorithms and Data Compression参考文献 114被引用数 129

ひとこと要約

この論文は、確率的生成文法の統計的推論として言語習得をモデル化する、教師なし言語習得の計算理論を提示する。文法パラメータの構成的表現と、表現から文法内容を分離するコンテンツベースの学習アルゴリズムを用いることで、分節されていない音声およびテキストから語彙、確率的文法、意味マッピングを高精度に学習可能であり、最小限の教師付き情報で人間がアノテートした言語構造と同等の性能を達成する。

ABSTRACT

This thesis presents a computational theory of unsupervised language acquisition, precisely defining procedures for learning language from ordinary spoken or written utterances, with no explicit help from a teacher. The theory is based heavily on concepts borrowed from machine learning and statistical estimation. In particular, learning takes place by fitting a stochastic, generative model of language to the evidence. Much of the thesis is devoted to explaining conditions that must hold for this general learning strategy to arrive at linguistically desirable grammars. The thesis introduces a variety of technical innovations, among them a common representation for evidence and grammars, and a learning strategy that separates the ``content'' of linguistic parameters from their representation. Algorithms based on it suffer from few of the search problems that have plagued other computational approaches to language acquisition. The theory has been tested on problems of learning vocabularies and grammars from unsegmented text and continuous speech, and mappings between sound and representations of meaning. It performs extremely well on various objective criteria, acquiring knowledge that causes it to assign almost exactly the same structure to utterances as humans do. This work has application to data compression, language modeling, speech recognition, machine translation, information retrieval, and other tasks that rely on either structural or stochastic descriptions of language.

研究の動機と目的

• 分節されておらずアノテートされていない入力から、明示的なフィードバックなしに子供が言語をどのように習得するかを、原則的で教師なしの計算モデルとして開発すること。
• 学習環境に関する仮定を最小限に抑え、特に意味的知識やラベル付きデータへの依存を避けること。
• 観察された言語的証拠に適合する確率的生成モデルとしての文法構造を推論する学習メカニズムを設計すること。
• 統計的規則性のみを用いて、連続した音声およびテキストから語彙、文法、意味表現を学習できること。
• 記述長に基づく学習基準を通じて、言語的妥当性と統計的最適性の両立を実現するフレームワークを構築すること。

提案手法

• 発話と文法パラメータの両方が、より単純な要素の合成によって構築される構成的表現を用いることで、多スケールのパターンを捉えることを可能にする。
• 言語を確率的生成モデルとして定式化し、観察された入力が統計的にありふれた文法の下で得られるようにすることを目的とする。
• 文法パラメータの明示的表現ではなく、その「内容」を操作する学習戦略を導入することで、探索空間における局所最適解の問題を回避する。
• 最小記述長（MDL）原則を適用し、モデルの複雑さとデータへの適合性のバランスを図り、入力をうまく圧縮できる文法を優遇する。
• 意味表現に対する摂動作用素を用いて言語的構造を探索し、構成的および非構成的パターンの両方を学習可能にする。
• 入力データを複数回走査するアルゴリズムを実装し、統計的尤度と記述長に基づいて文法パラメータを最適化する。

実験結果

リサーチクエスチョン

• RQ1 学習者が、分節されておらずアノテートされていない音声またはテキストから、明示的な監視なしに文法的構造をどのように習得できるか。
• RQ2 統計的学習手順が言語的に妥当な文法に収束するためには、どのような条件を満たす必要があるか。
• RQ3 入力の頻度と分布的パターンのみを用いて、音声的・語彙的・文法的規則性を同時に学習可能な文法を構築できるか。
• RQ4 言語的パラメータの表現は、複数の言語的スケールにわたる効率的な学習と一般化を支援するように、どのように設計できるか。
• RQ5 翻訳対応テキストデータや多言語テキストデータを用いて、教師なし学習により意味表現をどの程度まで推定できるか。

主な発見

• モデルは、客観的基準において、人間がアノテートした言語的構造に近い性能で、分節されていないテキストから語彙と確率的文法を効果的に学習可能である。
• 明示的な意味的監視がなくても、音声と意味表現の間のマッピングに高い正確性を達成する学習アルゴリズムである。
• 構成的パラメータ表現により、モデルは同時に複数の言語的抽象レベルのパターンを捉えることができる。
• コンテンツベースの学習戦略により、文法誘導における一般的な探索問題が、文法内容とその文法的表現の間の分離によって回避される。
• 連続した音声信号からの学習をサポートするが、初期的な結果は実用的な音声認識器の語彙獲得の可能性を示唆している。
• モデルは入力ノイズや不確実なパラメータに対しても頑健であるため、現実世界の条件下での教師なし習得の実現可能性が裏付けられる。