[論文レビュー] Investigating the Effect of Segmentation Methods on Neural Model based Sentiment Analysis on Informal Short Texts in Turkish

Fatih Kurt, Kezban Dilek Kisa+1 more|arXiv (Cornell University)|Feb 18, 2019

Sentiment Analysis and Opinion Mining参考文献 37被引用数 5

ひとこと要約

本研究では、不定形のトルコ語短文におけるディープニューラルネットワークベースのセンチメント分析に、形態素分割、サブワード（BPE）、トークン化、ハイブリッドのさまざまな分割手法が与える影響を調査する。CNNおよびLSTMモデルを用いて、BPE-5kおよび語彙素ベースの分割が最も高い正確性を示し、従来の単語トークン化を平均7.92ポイント上回ることを確認した。これは、サブワードおよび形態素分割が、形態素が豊富でリソースが限られた言語、たとえばトルコ語において、性能向上に顕著に寄与することを示している。

ABSTRACT

This work investigates segmentation approaches for sentiment analysis on informal short texts in Turkish. The two building blocks of the proposed work are segmentation and deep neural network model. Segmentation focuses on preprocessing of text with different methods. These methods are grouped in four: morphological, sub-word, tokenization, and hybrid approaches. We analyzed several variants for each of these four methods. The second stage focuses on evaluation of the neural model for sentiment analysis. The performance of each segmentation method is evaluated under Convolutional Neural Network (CNN) and Recurrent Neural Network (RNN) model proposed in the literature for sentiment classification.

研究の動機と目的

• 非公式なトルコ語テキストにおけるニューラルネットワークベースのセンチメント分類に、さまざまな分割技術が与える影響を評価すること。
• トルコ語の形態素の豊富さとリソースが限られたNLP環境がもたらす課題に対処すること。
• ディープラーニングモデルを用いて、語ベース、文字ベース、形態素ベース、ハイブリッドの分割法の性能を比較すること。
• リソースが限られ、形態素が複雑な言語において、センチメント分析の正確性を向上させる最適な分割戦略を特定すること。
• 今後のトルコ語NLPおよびセンチメント分析研究のための包括的な実証的ベンチマークを提供すること。

提案手法

• 4つの分割アプローチを評価：形態素（語彙素＋接尾語）、サブワード（5,000回のマージを伴うバイトペアエンコーディング）、トークン化（標準的な単語分割）、ハイブリッド（形態素とサブワードの組み合わせ）。
• 使用されたニューラルモデルは1次元CNNとLSTMであり、両者ともトルコ語のSNSテキストを対象にセンチメント分類のために訓練および評価された。
• 単語埋め込みは、事前学習済みword2vecに依存せず、サブワード断片表現に依存して、分割済みテキストから直接学習された。
• 性能は正確度で測定され、予測信頼性の統計的妥当性はカイ二乗分布および正規分布を用いて検証された。
• モデルの一貫性を評価するために多数決メカニズムが適用され、集約プロセスの妥当性は中心極限定理を用いて検証された。
• 今後の改善のための可能性として、テキスト正規化、綴りの誤り訂正、文脈に応じた意味の解釈の明確化が検討された。

実験結果

リサーチクエスチョン

• RQ1 さまざまな分割手法が、非公式なトルコ語テキストにおけるニューラルネットワークのセンチメント分類性能にどのように影響を与えるか？
• RQ2 形態素、サブワード、トークン化、ハイブリッドのうち、どの分割戦略がセンチメント分類で最も高い正確度を達成するか？
• RQ3 CNNおよびLSTMモデルは、さまざまな分割手法と組み合わせた場合、性能でどのように比較されるか？
• RQ4 語形が存在しない状況で、位置的語の特徴がセンチメント分類にどの程度寄与するか？
• RQ5 BPEのようなサブワード分割法は、形態素が豊富な言語（例：トルコ語）における未知語問題を緩和できるか？

主な発見

• BPE-5k分割は、全データセットでベースラインモデルを平均5.5ポイント上回る最高の平均正確度向上を達成した。
• 語彙素＋接尾語分割法も強く性能を示し、正確度で上位3位内にランクされた。
• CNNおよびLSTMモデルは全体的な性能が同等であり、LSTMネットワークはカイ二乗分布のパターンから、より高い予測の確実性を示した。
• 語トークン化は、より複雑な手法と同等の性能を示し、語形に依存しない状況で正確度約65％を達成した。
• 語の同一性が削除されても、モデルが顕著な予測能力を維持したため、位置的および構造的特徴が分類に有意に寄与していることが示された。
• ある特定の語彙サイズで性能がピークに達することを観察し、語彙の多様性とモデルの一般化性能の間の最適なバランスがあることが示唆された。