[論文レビュー] Lifelong Learning CRF for Supervised Aspect Extraction

Lei Shu, Hu Xu+1 more|arXiv (Cornell University)|Apr 29, 2017

Text and Document Classification Technologies参考文献 24被引用数 24

ひとこと要約

本稿では、以前のドメインのラベルなしレビューから抽出された信頼性の高いアスペクトを活用することで、条件付きランダムフィールド（CRF）における教師ありアスペクト抽出を向上させる、Lifelong CRF（L-CRF）という新しい手法を提案する。過去の抽出経験を再トレーニングなしに継続的に反映させることで、標準的なCRFやCRF+Rよりも顕著に高いF1スコアを達成し、アスペクト抽出の順序付けタスクにおける継続的学習の有効性を示している。

ABSTRACT

This paper makes a focused contribution to supervised aspect extraction. It shows that if the system has performed aspect extraction from many past domains and retained their results as knowledge, Conditional Random Fields (CRF) can leverage this knowledge in a lifelong learning manner to extract in a new domain markedly better than the traditional CRF without using this prior knowledge. The key innovation is that even after CRF training, the model can still improve its extraction with experiences in its applications.

研究の動機と目的

• 以前に処理されたラベルなしドメインからの事前知識を活用して、新しいドメインにおける教師ありアスペクト抽出を改善すること。
• 従来のCRFモデルが過去の抽出で得た知識を保持・活用しないという限界を是正すること。
• 意見抽出における順序付けタスクであるアスペクト抽出に、継続的機械学習（lifelong learning）を効果的に適用できるかを検討すること。
• 複数ドメインにまたがるラベルなしデータから抽出された信頼性の高いアスペクトが、新しいドメイン学習における有用な誘導的バイアス（inductive bias）として機能するかを評価すること。
• 継続的な知識統合が、標準的なCRFや単純な辞書ベースの拡張を上回る性能向上をもたらすことを実証すること。

提案手法

• L-CRFは、初期トレーニング後に過去のドメインからの知識を保持する事前学習済みCRFモデルを用いる。
• トレーニング後、モデルは50のラベルなしドメインにCRFを適用し、頻度（閾値λ=2）に基づいて信頼性の高いアスペクトを抽出・特定する。
• 過去のドメインからの信頼性の高いアスペクトは知識集合Kに格納され、新しいドメインでの推論をガイドする。
• 新しいドメインでの推論時、L-CRFはKを活用するために特徴関数を変更し、既知の信頼性の高いアスペクトのラベル・ワード特徴を追加する。
• モデル構造を変更せず、再トレーニングを要せず、既知のアスペクトのラベル付けの信頼性を向上させる。
• 依存関係のパターンや特徴工学（例：品詞タグ、単語特徴）を活用することで、CRFの順序モデリング能力を維持しつつ一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしドメインからの事前抽出結果を再トレーニングなしに活用することで、新しいドメインにおけるアスペクト抽出性能を向上させられるか？
• RQ2 CRFにおける継続的学習は、標準的なCRFや辞書ベースの拡張と比較して、より高いF1スコアを達成するか？
• RQ3 頻度閾値を用いて抽出された信頼性の高いアスペクトを誘導的バイアスとして用いることは、順序付けタスクにおいてどれほど有効か？
• RQ4 クロスドメイン設定とインドメイン設定のどちらにおいても、継続的学習による性能向上が顕著に現れるか？
• RQ5 最終トレーニング後でも、経験に基づく知識保持によってCRFモデルを強化できるか？

主な発見

• L-CRFはクロスドメイン設定において、標準的なCRFやCRF+Rよりも顕著に高いF1スコアを達成しており、全7ドメインで一貫した改善が見られた。
• クロスドメイン実験では、CRF+RはKを辞書として扱う際の誤検出のフィルタリングが不十分であるため、低精度にとどまる一方、L-CRFはそれを上回った。
• 共有アスペクトが一般化に重要であるクロスドメインのシナリオでは、L-CRFによる性能向上がより顕著に現れた。
• インドメイン設定では、F1スコアの向上は小さいが、依然として一貫しており、多くのアスペクトが既にトレーニングデータに存在するためである。
• この手法は、継続的学習が教師あり順序付けタスクに効果的に適用可能であることを示しており、トレーニング後でさえ経験を通じた性能向上が可能であることを実証した。
• 結果から、ラベルなしの過去ドメインから抽出された信頼性の高いアスペクトが、新しいドメイン抽出の貴重な誘導的バイアスとして機能することが裏付けられた。