[論文レビュー] Supervised Complementary Entity Recognition with Augmented Key-value Pairs of Knowledge

Hu Xu, Lei Shu+1 more|arXiv (Cornell University)|May 29, 2017

Topic Modeling参考文献 9被引用数 5

ひとこと要約

本稿では、ラベルなしレビューから知識ベースの特徴を自動で学習・拡張するキーバリュー対形式で、補完的エンティティ認識（CER）を向上させる教師あり系列ラベル付けフレームワークであるKCRFを提案する。反復的予測と精練を通じて学習される動的拡張コンテキスト語知識をベースCRFに統合することで、KCRFは再現率を著しく向上させつつ精度を損なわず、特にリソースが限られたまたはドメイン外の製品において顕著な恩恵をもたらす。

ABSTRACT

Extracting opinion targets is an important task in sentiment analysis on product reviews and complementary entities (products) are one important type of opinion targets that may work together with the reviewed product. In this paper, we address the problem of Complementary Entity Recognition (CER) as a supervised sequence labeling with the capability of expanding domain knowledge as key-value pairs from unlabeled reviews, by automatically learning and enhancing knowledge-based features. We use Conditional Random Field (CRF) as the base learner and augment CRF with knowledge-based features (called the Knowledge-based CRF or KCRF for short). We conduct experiments to show that KCRF effectively improves the performance of supervised CER task.

研究の動機と目的

• テストデータに出現しない未学習のコンテキスト語による教師あり補完的エンティティ認識（CER）の再現率低さを是正すること。
• 人的ルールベースの知識拡張の限界（時間消費的かつドメイン依存的）を克服すること。
• ラベルなしレビューから知識ベースの特徴を自動で学習・拡張する手法を開発し、モデルの汎化性能を向上させること。
• ドメインに依存しない自動取得コンテキスト知識を活用することで、トレーニング時には見られなかった製品に対しても効果的なCERを実現すること。

提案手法

• 依存関係や語レベル特徴を含む原始的特徴を用いてベースCRFを学習する。
• 学習済みCRFから初期の知識ベース特徴を抽出し、キーが特徴タイプで値が観測されたコンテキスト語であるキーバリュー対を形成する。
• これらの知識ベース特徴をCRFに拡張して知識ベースCRF（KCRF）を構築し、推論時に知識を動的に拡張可能にする。
• ラベルなしレビューからの信頼性の高い予測を反復的に収集し、各知識タイプの知識値を拡張することでカバレッジと汎化性能を向上させる。
• 品質を保証するため、信頼度閾値（δ′ = 0.8）を用いて高精度の予測を知識拡張にフィルタリングする。
• 拡張された知識を活用して、特にラベル付きトレーニングデータのない製品のテスト時予測を改善する。

実験結果

リサーチクエスチョン

• RQ1 自動で学習された知識ベース特徴は、従来のCRFモデルを上回る性能を、教師ありCERで達成できるか？
• RQ2 ラベルなしデータからの知識拡張は、リソースが限られたまたはドメイン外の設定において、CERの再現率をどれほど向上させ得るか？
• RQ3 拡張された知識の品質は精度を低下させるか？信頼度フィルタリングによって是正可能か？
• RQ4 ドメインに依存しないコンテキスト語パターンを活用することで、KCRFはトレーニング時に見られなかった製品にどの程度一般化できるか？
• RQ5 自己拡張知識の統合により、テストデータに出現する未学習のコンテキスト語に対するモデルのロバスト性は向上するか？

主な発見

• KCRFは、すべての製品においてベースラインCRFおよびCRF-Initを著しく上回り、特に再現率で顕著な向上を示す。
• スタイラス製品では、KCRFがF1スコア0.74を達成した一方、CRFは0.60にとどまり、相対的に14%の向上を示した。
• ノートブックカバーおよびコンパクトフラッシュなどドメイン外製品においても、KCRFはラベル付きトレーニングデータが存在しないにもかかわらず、F1 > 0.65を維持し、効果的なゼロショット一般化を示した。
• KCRFの再現率は顕著に向上し、例としてスタイラスではCRFの0.50からKCRFの0.74に上昇した。これは未学習のコンテキスト語のカバーが有効に実現されたことを示している。
• 知識拡張により、KCRFはトレーニングデータに存在しなかったドメイン固有の動詞「insert」（挿入）を学習することができた。
• 高い再現率を達成した一方で、KCRFの精度はCRFに比べてわずかに低下しており、カバレッジと正確性のトレードオフが依然として解決すべき課題である。