[論文レビュー] Suggestion Mining from Online Reviews using ULMFiT

Sarthak Anand, Debanjan Mahata+7 more|arXiv (Cornell University)|Apr 19, 2019

Sentiment Analysis and Opinion Mining参考文献 16被引用数 5

ひとこと要約

本論文は、クラス不均衡と複雑な言語的パターンに対処するために転移学習を活用し、オンラインレビューからの文を「提案」と「非提案」に分類するULMFiTベースのアプローチを提案する。モデルはSemEval 2019 Task 9 Sub Task Aで34チーム中10位のF1スコア0.7011を達成し、現実世界の不均衡なデータセットにおける提案抽出のためのファインチューニング済み言語モデルの有効性を示している。

ABSTRACT

In this paper we present our approach and the system description for Sub Task A of SemEval 2019 Task 9: Suggestion Mining from Online Reviews and Forums. Given a sentence, the task asks to predict whether the sentence consists of a suggestion or not. Our model is based on Universal Language Model Fine-tuning for Text Classification. We apply various pre-processing techniques before training the language and the classification model. We further provide detailed analysis of the results obtained using the trained model. Our team ranked 10th out of 34 participants, achieving an F1 score of 0.7011. We publicly share our implementation at https://github.com/isarth/SemEval9_MIDAS

研究の動機と目的

• 非構造的なオンラインレビューおよびフォーラムにおける明示的提案の同定という課題に対処すること。
• 低リソースで不均衡な状況下における提案抽出のためのULMFiTによる転移学習の有効性を評価すること。
• 予測結果とデータセットアノテーションの詳細な誤り分析を通じて、ラベル付けの不一致やモデルの限界を解明すること。
• 今後の研究において、訓練済みモデルのドメイン外での提案検出への一般化可能性を検討すること。

提案手法

• UserVoice.comから得た大規模でドメイン特化型のデータセット（提案文2085件、非提案文6415件）を用いて、ユニバーサル言語モデル（ULMFiT）をファインチューニングした。
• Ekphrasisライブラリを用いて、正規化、URLおよびハッシュタグの処理、絵文字の置換を含む、広範なテキスト前処理を実施した。
• BPTT=70、バッチサイズ=48、埋め込み次元=400、隠れ層次元=1150、3層の構造で、fastText語彙埋め込みを用いてULMFiTモデルを学習した。
• アブレーションおよびパフォーマンスベンチマークの目的で、Multinomial Naive Bayes、Logistic Regression、SVM、LSTMといったベースラインモデルと比較した。
• 誤分類の原因を特定するため、混同行列分析および誤り分析（偽陽性および偽陰性）を実施し、言語的パターンとラベル付けの問題を特定した。

実験結果

リサーチクエスチョン

• RQ1 クラス不均衡が著しい現実世界の非構造的オンラインレビューにおいて、ULMFiTは提案文と非提案文を効果的に分類できるか？
• RQ2 提案抽出における誤分類（特に偽陽性および偽陰性）を引き起こす主な言語的およびアノテーション上の課題は何か？
• RQ3 キーワードパターン（例：'please'、'should'、'would'など）は、モデルの偽陽性予測とどのように相関しているか？
• RQ4 モデルはドメイン外の提案検出にどの程度一般化できるか？また、転移学習をどのように異分野に活用できるか？

主な発見

• ULMFiTモデルはテストセットでF1スコア0.7011を達成し、SemEval 2019 Task 9 Sub Task Aで34チーム中10位となった。
• Logistic Regression（F1=0.572）やSVM（F1=0.576）といったすべてのベースラインモデルを上回り、転移学習の利点を示した。
• 偽陽性予測の77％が、'would'、'could'、'should'、'want'、'need'、'please'といった高頻度の助動詞または要求的キーワードを含んでいた。
• トレーニングデータに誤ってラベル付けされたインスタンスが多数存在し、例として「現在のアプリ拡張機能はアセットおよびスクリプトのロードのみをサポートしている」といった文が提案とラベル付けされていた。
• トレーニングセットではF1=0.861の高いパフォーマンスを示しており、モデルの学習能力は優れていたが、ドメインシフトとアノテーションノイズの影響により、テストセットへの一般化は限定的であった。