[論文レビュー] Distance Metric Learning for Aspect Phrase Grouping

Shufeng Xiong, Yue Zhang+2 more|arXiv (Cornell University)|Apr 29, 2016

Sentiment Analysis and Opinion Mining参考文献 46被引用数 10

ひとこと要約

本稿では、文脈-フレーズ相互作用をモデル化し、非線形特徴部分空間を学習することでクラスタリング性能を向上させる、注目メカニズムを活用したアテンションベースのディープ距離度合い学習（ADDML）手法を提案する。4つのデータセットにおける実験では、最先端のベースラインを上回り、平均して純度0.51、エントロピー1.74を達成した。

ABSTRACT

Aspect phrase grouping is an important task in aspect-level sentiment analysis. It is a challenging problem due to polysemy and context dependency. We propose an Attention-based Deep Distance Metric Learning (ADDML) method, by considering aspect phrase representation as well as context representation. First, leveraging the characteristics of the review text, we automatically generate aspect phrase sample pairs for distant supervision. Second, we feed word embeddings of aspect phrases and their contexts into an attention-based neural network to learn feature representation of contexts. Both aspect phrase embedding and context embedding are used to learn a deep feature subspace for measure the distances between aspect phrases for K-means clustering. Experiments on four review datasets show that the proposed method outperforms state-of-the-art strong baseline methods.

研究の動機と目的

• 意味の多義性と文脈依存性の高い要因フレーズグループ化の課題に対処すること。
• 要因フレーズとその文脈語の相互作用を明示的にモデル化することで、クラスタリング性能を向上させること。
• グループ内フレーズ間距離をグループ間距離に対して最小化する非線形特徴部分空間を学習すること。
• 距離度合い学習のためのシアンペインニューラルネットワークを訓練するため、遠隔教師あり学習とネガティブサンプリングを活用すること。
• 標準ベンチマークデータセット上で、既存の非教師ありおよび半教師ありベースラインを上回ること。

提案手法

• レビューコーパスからの遠隔教師あり学習を用いて、要因フレーズのペアを自動的に生成する。
• ターゲット要因フレーズに関連する文脈語の重みを付けることで、文脈に配慮した表現をアテンションベースのニューラルネットワークで計算する。
• 要因フレーズ埋め込みとその文脈表現を連結して、統合特徴ベクトルを構築する。
• 2層のマルチレイヤーパーセプトロン（MLP）を適用し、メトリック学習のための非線形変換によるディープ特徴部分空間を学習する。
• ネガティブサンプリングを用いてモデルを訓練する：ポジティブペアは同じ要因フレーズを含む文；ネガティブペアは意味的語彙距離に基づいて不適合なフレーズペア。
• Mahalanobis距離度合い学習を想起させた、ポジティブペアとネガティブペアの距離のマージンを最大化するようにバックプロパゲーションで最適化する。

実験結果

リサーチクエスチョン

• RQ1 注目メカニズムは、要因フレーズグループ化において、文脈語の関連性を効果的にモデル化できるか？
• RQ2 ディープメトリック学習による非線形特徴部分空間の学習は、従来のbag-of-wordsアプローチに比べてクラスタリング性能を向上させるか？
• RQ3 ネガティブサンプリングの類似度しきい値の選択がモデル性能に与える影響は何か？
• RQ4 意味的語彙に基づく遠隔教師あり学習とネガティブサンプリングは、要因フレーズグループ化のためのシアンペインネットワークを効果的に訓練できるか？
• RQ5 標準ベンチマークにおいて、提案手法ADDMLは純度とエントロピーの観点から強力なベースラインと比較してどのように差をつけるか？

主な発見

• ADDMLは4つのレビュー・データセット全体で平均純度0.51、エントロピー1.74を達成し、以前の最高結果（純度0.43、エントロピー2.02）を上回った。
• 注目メカニズムは、ターゲット要因フレーズに関連する語と関係の薄い語を区別することで、文脈表現の質を著しく向上させた。
• MLPベースの非線形変換層はメトリック学習を強化し、グループ内とグループ間の要因フレーズペアの分離をより良く可能にした。
• ネガティブサンプリングの類似度しきい値は0.3に設定されたが、しきい値が高くなると性能が低下したため、ネガティブサンプルの数と品質のトレードオフが示された。
• ADDMLはCNN、RNN、注目ベースのモデルを含む強力なベースラインを一貫して上回り、フレーズ-文脈統合表現とメトリック学習の有効性を示した。
• MP3やレストランレビューを含む多様なドメインにおいてもモデルは頑健であり、特に文脈依存性の高い複雑な状況でも優れた性能を発揮した。