[論文レビュー] Replicated Siamese LSTM in Ticketing System for Similarity Learning and Retrieval in Asymmetric Texts

Pankaj Gupta, Bernt Andrassy+1 more|arXiv (Cornell University)|Jul 8, 2018

Topic Modeling被引用数 4

ひとこと要約

本論文は、短いクエリ（件名、説明）と長い履歴チケット（件名、説明、解決策）という非対称なテキストペアを対象とした産業用チケットシステムにおける意味的類似度学習と検索の向上を目的として、複製されたシamese LSTMアーキテクチャを提案する。マルチレベル（件名、説明、解決策）およびマルチチャネル（分散表現、LSTM、トピックベクトル）表現を活用することで、教師なしベースラインに対してAccuracy@10で22%の向上、教師ありベースラインに対して7%の向上を達成し、現実世界の類似度検索タスクにおいて顕著な改善を示した。

ABSTRACT

The goal of our industrial ticketing system is to retrieve a relevant solution for an input query, by matching with historical tickets stored in knowledge base. A query is comprised of subject and description, while a historical ticket consists of subject, description and solution. To retrieve a relevant solution, we use textual similarity paradigm to learn similarity in the query and historical tickets. The task is challenging due to significant term mismatch in the query and ticket pairs of asymmetric lengths, where subject is a short text but description and solution are multi-sentence texts. We present a novel Replicated Siamese LSTM model to learn similarity in asymmetric text pairs, that gives 22% and 7% gain (Accuracy@10) for retrieval task, respectively over unsupervised and supervised baselines. We also show that the topic and distributed semantic features for short and long texts improved both similarity learning and retrieval.

研究の動機と目的

• 語彙の不一致や構造的非対称性が検索を妨げる産業用チケットシステムにおいて、短いクエリと長い履歴チケット間の意味的類似度学習の課題に対処すること。
• クエリチケットペアの各コンponents（件名、説明、解決策）にわたるマルチレベルおよびクロスレベルの意味的類似度をモデル化することで、情報検索のパフォーマンスを向上させること。
• 分散語彙表現、LSTMエンコード済み表現、およびニューラルトピックモデリングを補完的入力チャネルとして用いて、検索の正確性を向上させること。
• 限られたラベル付きデータを伴う現実世界の産業応用において、新規の複製されたシamese LSTMアーキテクチャの有効性を実証すること。
• 通常、対称な文ペアを処理するが、非対称でマルチコンポーネントなテキストペアに拡張する必要がある既存のシameseネットワークの限界を克服すること。

提案手法

• 同一重みを共有する二重ブランチを用いて、クエリ（SUB1+DESC1）と履歴チケット（SUB2+DESC2+SOL2）の各コンポーネントを処理する複製されたシamese LSTMアーキテクチャを提案し、共有表現を学習する。
• マルチチャネル入力を統合：語彙表現（SumEMB）、LSTMエンコード済み隠れ状態（LSTM）、トピックベクトル（T）を用いて意味的表現を豊かにする。
• すべてのコンポーネントペア（例：SUB1 vs. SUB2、SUB1 vs. DESC2 など）間の類似度を、重み付きL1距離を用いて計算するマルチチャネルマンハッタン距離損失関数を定義する。
• 表現間の重み付きL1距離の指数をとった関数として目的関数を定式化する：$ g = \exp\big(-\sum_{p,q} V_{\{p,q\}} (W_h\|h_p - h_q\|_1 + W_E\|E_p - E_q\|_1 + W_T\|T_p - T_q\|_1) \big) $。
• ドキュメントからトピックベクトルを学習するためにDocNADEを用い、長文（説明や解決策）におけるトピックに配慮した意味的モデリングを可能にする。
• 対照的損失を用いて、関連するクエリチケットペア間の類似度スコアを最適化するため、エンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 非対称なテキストペア（長さや構造が異なる）に対して、複製されたシamese LSTMアーキテクチャが意味的類似度を効果的にモデル化できるか？
• RQ2 マルチレベル（件名、説明、解決策）およびマルチチャネル（語彙表現、LSTM、トピックベクトル）表現を統合することで、産業用チケットシステムにおける類似度学習が向上するか？
• RQ3 本研究で提案するモデルは、現実世界のチケットデータにおける検索パフォーマンスに関して、教師なしおよび教師ありベースラインと比較してどのように差をつけるか？
• RQ4 トピックモデリングと分散表現の特徴が、短いおよび長いテキストコンポーネントにおける類似度学習をどの程度向上させるか？
• RQ5 限られたラベル付きデータと顕著な語彙の不一致を伴う現実世界の産業応用において、モデルは一般化できるか？

主な発見

• 提案された複製されたシamese LSTMモデルは、産業用チケットシステムにおける検索において、教師なしベースラインに対してAccuracy@10で22%の絶対的向上を達成した。
• 教師ありベースラインに対しては7%の絶対的向上を示し、限られたラベル付きデータでも優れたパフォーマンスを発揮した。
• トピックベクトルと分散表現の特徴の統合により、類似度学習が顕著に向上し、特に長文の説明や解決策において顕著であった。
• クロスレベルの類似度（例：クエリの件名からチケットの解決策への類似度）が検索パフォーマンスに有意に寄与しており、マルチレベルモデリングアプローチの有効性が裏付けられた。
• 標準的なシameseネットワークに比べ、複数のコンポーネントおよび表現チャネルにわたる非対称なテキストペアを明示的にモデル化することで、本モデルは優れた性能を発揮した。
• このアーキテクチャは産業分野全体にわたって一般化が良く、手作業による言語的特徴の依存度を低減するため、広く適用可能である。