[論文レビュー] Distributional Modeling on a Diet: One-shot Word Learning from Text Only

Su Wang, Stephen Roller+1 more|arXiv (Cornell University)|Apr 14, 2017

Topic Modeling参考文献 23被引用数 12

ひとこと要約

本稿では、文脈の構造的知識——特に句構造の規則性と定義的性質の共起パターン——を活用することで、テキストのみから一回の暴露で語彙を学習できるベイジアン分布モデルを提案する。このモデルは、1つの文からの語の性質を予測する際、分類的性質に関して平均精度（AP）が0.62に達するなど、顕著な性能を示しており、情報豊かな文脈と構造的事前知識が、分布的意味論における高速マッピングを著しく向上させることを示している。

ABSTRACT

We test whether distributional models can do one-shot learning of definitional properties from text only. Using Bayesian models, we find that first learning overarching structure in the known data, regularities in textual contexts and in properties, helps one-shot learning, and that individual context items can be highly informative. Our experiments show that our model can learn properties from a single exposure when given an informative utterance.

研究の動機と目的

• 分布的モデルが、人間の高速マッピングを模倣するように、テキストのみから定義的語彙性質のワンショット学習を可能にするかを調査すること。
• 文脈の規則性や性質の共起パターンといった、包括的な構造的知識が、効率的なワンショット学習を可能にする役割を検討すること。
• 1回の暴露状況下で、未知語の意味を予測するための個々の文脈項目の情報量を評価すること。
• 文脈と性質の構造に関する事前知識を統合する確率的フレームワークを構築・検証すること。

提案手法

• モデルはベイジアン推論を用い、未知語を含む1文から、文法的文脈の分布的表現を通じて定義的性質へマッピングする。
• 2種類の包括的構造を組み込む：(1) 文脈項目の規則性（例：'eat-dobj' と 'cook-dobj' は類似した補填語を好む）、(2) 性質間の共起パターン（例：'哺乳類' と '4本足' はしばしば共起する）。
• 2つのコンポonent（文脈ベースモデル（TM）と性質共起モデル（PM））を組み合わせ、両者を統合したハイブリッドモデル（bi-TM）を採用する。
• 文脈項目の情報量は、頻度、エントロピー、および見た役割補填語における性質分布の平均コサイン類似度（AvgCos）の3つの指標を用いて評価する。
• モデルは2つのデータセット（Quantified McRae（QMR）とAnimalデータセット）で評価され、平均精度（AP）と平均平均精度（MAP）を指標として用いる。
• 最良の性能を示したモデル（bi-TM）は、文脈と性質の構造の両方を活用しており、文脈情報量の予測にAvgCosが最も信頼性が高い指標であることが判明した。

実験結果

リサーチクエスチョン

• RQ1 分布的モデルは、1つの文脈的文書から、定義的語彙性質のワンショット学習を可能にするか？
• RQ2 文脈における包括的構造的規則性（例：選択的制約）を学習することで、ワンショット語彙学習が向上するか？
• RQ3 性質間の共起パターンを学習することで、未知語の意味をワンショットで推論する能力が向上するか？
• RQ4 どの文脈項目がワンショット学習において最も情報量が多く、測定可能な基準を用いて自動的に選別可能か？

主な発見

• 文脈の規則性と性質の共起を統合したbi-TMモデルは、分類的性質に関してAnimalデータセットで平均平均精度（MAP）0.62を達成し、最高の性能を示した。
• 役割補填語における性質分布の平均コサイン類似度（AvgCos）に基づく文脈情報量の指標が、頻度やエントロピーを上回り、最も頑健な有用な文脈の予測因子となった。
• QMRデータセットでは、機能的性質に関してMAPが0.45、分類的性質で0.62、視覚的性質で0.34を記録し、分類的および機能的性質が文脈から最も容易に推論可能であることが示された。
• 1回の露出でも、AvgCosで選別された最良の文脈を使用した場合、モデルの性能は複数回の露出を要するモデルに近づいた。これは、文脈選別がデータ要件を顕著に削減できることを示唆している。
• クリーンで洗練されたAnimalデータセットでは、ノイズの多いQMRデータセットよりもモデルの性能が著しく高く、データ品質がワンショット学習の結果に強く影響することが判明した。
• 結果から、文脈レベルの規則性と性質レベルの共起パターンの両方がワンショット学習に有用であり、それらの統合が最も高い性能をもたらすことが確認された。