[論文レビュー] Learning Document-Level Semantic Properties from Free-Text Annotations

S. R. K. Branavan, Harr Chen+2 more|Jan 15, 2014

Advanced Text Analysis Techniques参考文献 44被引用数 59

ひとこと要約

本稿では、ユーザー生成コンテンツ（例：製品レビューなど）に一般的に見られるノイジーや自由記述形式のキーフレーズアノテーションから、文書レベルの意味的性質を階層ベイジアンモデルで学習する手法を提案する。この手法は、隠れた並び替え構造（並び替え表現）を同定し、それらをレビュー文書内の潜在的トピックに関連付ける。このアプローチにより、キーフレーズクラスタリングとトピックモデリングの両方が向上し、意味的に顕著な性質を持つ文書の要約において、他の手法を著しく上回る性能を発揮する。

ABSTRACT

This paper presents a new method for inferring the semantic properties of documents by leveraging free-text keyphrase annotations. Such annotations are becoming increasingly abundant due to the recent dramatic growth in semi-structured, user-generated online content. One especially relevant domain is product reviews, which are often annotated by their authors with pros/cons keyphrases such as a real bargain or good value. These annotations are representative of the underlying semantic properties; however, unlike expert annotations, they are noisy: lay authors may use different labels to denote the same property, and some labels may be missing. To learn using such noisy annotations, we find a hidden paraphrase structure which clusters the keyphrases. The paraphrase structure is linked with a latent topic model of the review texts, enabling the system to predict the properties of unannotated documents and to effectively aggregate the semantic properties of multiple reviews. Our approach is implemented as a hierarchical Bayesian model with joint inference. We find that joint inference increases the robustness of the keyphrase clustering and encourages the latent topics to correlate with semantically meaningful properties. Multiple evaluations demonstrate that our model substantially outperforms alternative approaches for summarizing single and multiple documents into a set of semantically salient keyphrases.

研究の動機と目的

• 大規模なドキュメントコレクションにおけるノイズの多い、ユーザー生成のキーフレーズアノテーションから意味的性質を学ぶ課題に対処すること。
• 専門家でないユーザーによる不一致なラベル付け（同じ性質を異なる用語で表す、またはラベルを省略するなど）の制限を克服すること。
• キーフレーズの並び替え構造とドキュメントテキスト内の潜在的トピックを結びつける共同推論フレームワークを構築し、より高い耐性と意味的関連性を実現すること。
• 未アノテートのドキュメントにおける意味的性質の正確な予測と、複数のレビューにわたる性質の効果的な集約を可能にすること。

提案手法

• 隠れた並び替え構造発見部を用いて、キーフレーズアノテーションを潜在的意味的性質のノイズの多い並び替え表現としてモデル化する。
• 並び替え構造を潜在的ディリクレ配分（LDA）ベースのトピックモデルと統合し、トピックと意味的性質を同時に推論する。
• 階層ベイジアンフレームワークを用いてキーフレーズとドキュメントテキストの両方に対して共同推論を実施し、意味的に同等のアノテーションのクラスタリングを強化する。
• キーフレーズとトピックの共起パターンを活用して、意味的に重要なドキュメントレベルの属性に関連する潜在的意味的性質を推論する。
• 変分推論を適用してトピックと性質の事後分布を近似し、大規模データセットからのスケーラブルな学習を可能にする。
• 並び替えられたキーフレーズと意味的に整合性のあるトピックの一致を促進する、共同尤度最適化を用いてモデルを最適化する。

実験結果

リサーチクエスチョン

• RQ1 自由記述形式のキーフレーズ間の並び替え構造を発見する共同モデルは、ノイズの多いアノテーションにおける意味的性質学習の耐性を向上させることができるか？
• RQ2 キーフレーズの並び替え構造と潜在的トピックを結びつけることで、文書レベルの意味的性質予測の解釈可能性と正確性はどの程度向上するか？
• RQ3 本手法は、意味的に顕著なキーフレーズを含む単一および複数ドキュメントの要約において、ベースライン手法と比較してどの程度優れているか？
• RQ4 キーフレーズとトピックの共同推論は、独立したモデリングと比較して、意味的に同等のアノテーションのクラスタリング品質を向上させるか？
• RQ5 本モデルは、学習済みの並び替え-トピック構造を用いて、未アノテートのドキュメントにおける意味的性質の予測に効果的に一般化できるか？

主な発見

• 提案手法は、意味的に顕著なキーフレーズを含む単一および複数ドキュメントの要約において、ベースライン手法を著しく上回る性能を発揮した。
• 共同推論により、専門外のユーザーによるノイズや一貫性のないラベル付けに対して感受性が低下し、キーフレーズクラスタリングの耐性が向上した。
• 本モデルが学習した潜在的トピックは、価格対効果や製品の耐久性といった意味的に有意義な性質と強く相関していた。
• 他の手法と比較して、キーフレーズ予測タスクにおけるF1スコアが上昇し、より高い正確性と一般化性能が示された。
• キーフレーズ間の並び替え構造の同定により、語句の表現が異なる場合でも、複数のレビューにわたる意味的性質の効果的な集約が可能になった。
• 実世界の製品レビューデータを用いた実験的評価により、共同モデリングフレームワークがクラスタリング品質と予測性能の両方を向上させることを確認した。