[論文レビュー] Towards Theme Detection in Personal Finance Questions

John Xi Qiu, Adam Faulkner+1 more|arXiv (Cornell University)|Oct 4, 2021

Topic Modeling参考文献 14被引用数 4

ひとこと要約

本稿では、個人のファイナンスに関する質問におけるテーマ検出のための文単位クラスタリング手法を提案する。StackExchangeデータを用いて、Universal Sentence Encoder (USE) と KMeans クラスタリングを適用し、1つの質問に複数のテーマを特定する。この手法は、Micro-F1 0.46 を達成し、SBERT やより複雑な意味解析手法を上回った。これは、単純で堅牢な符号化とクラスタリングが、金融顧客問い合わせにおけるトピック的傾向を効果的に抽出できることを示している。

ABSTRACT

Banking call centers receive millions of calls annually, with much of the information in these calls unavailable to analysts interested in tracking new and emerging call center trends. In this study we present an approach to call center theme detection that captures the occurrence of multiple themes in a question, using a publicly available corpus of StackExchange personal finance questions, labeled by users with topic tags, as a testbed. To capture the occurrence of multiple themes in a single question, the approach encodes and clusters at the sentence- rather than question-level. We also present a comparison of state-of-the-art sentence encoding models, including the SBERT family of sentence encoders. We frame our evaluation as a multiclass classification task and show that a simple combination of the original sentence text, Universal Sentence Encoder, and KMeans outperforms more sophisticated techniques that involve semantic parsing, SBERT-family models, and HDBSCAN. Our highest performing approach achieves a Micro-F1 of 0.46 for this task and we show that the resulting clusters, even when slightly noisy, contain sentences that are topically consistent with the label associated with the cluster.

研究の動機と目的

• コールセンターのトランスクリプトから得られる個人のファイナンスに関する顧客の問題文から、複数の発展中のテーマを検出すること。
• キーワードベース検索の限界を克服し、「未知の未知」——以前に検出されていなかった顧客問い合わせのトレンド——を特定すること。
• ファイナンス分野の文脈において、テーマ検出のための文の符号化とクラスタリング手法を評価・比較すること。
• 1つの質問に複数のテーマを捉えることができる、スケーラブルで教師なしのパイプラインを構築すること。
• 特許情報のないコールセンターのデータを代替として使用するため、公開済みの個人のファイナンス質問データ（StackExchange から）を用いて、アプローチを検証すること。

提案手法

• 本手法は、コールトランスクリプトから得られる顧客問題文（CPS）を文単位に分割して分析する。
• Universal Sentence Encoder (USE) および SBERT ファミリーのモデルを用いて、文単位の符号化を行い、密なベクトル表現を生成する。
• 符号化された文ベクトルに対して、KMeans および HDBSCAN を用いてクラスタリングを実施し、意味的に類似した文をグループ化する。
• 本アプローチは、複雑な意味解析を避けて、生の文テキスト、USE ベクトル、KMeans クラスタリングの組み合わせを採用する。
• クラスタのラベルは、クラスタ内の文に共通する語彙的パターンを一般化して、人間が読みやすいテーマラベルに変換する。
• 評価は、Micro-F1 を用いたマルチクラス分類タスクとして定式化され、誤分類のパターンと優勢クラスバイアスに注目した誤差分析が実施される。

実験結果

リサーチクエスチョン

• RQ1 文単位のクラスタリングは、1つの個人のファイナンス質問内に複数のテーマを効果的に検出できるか？
• RQ2 特に USE と SBERT の違いに注目した場合、異なる文の符号化モデルは、金融関連の質問におけるテーマ検出でどの程度の性能を示すか？
• RQ3 意味解析や高度なモデルを含むより複雑なアプローチと比較して、生の文テキストに加え USE と KMeans を用いることで、より優れた性能が得られるか？
• RQ4 テーマ検出における誤分類の原因は何か？また、クラスの不均衡は性能にどのように影響するか？
• RQ5 提案された手法は、時間経過に伴う金融関連の問い合わせデータにおける新たなトレンドを検出できるか？

主な発見

• Universal Sentence Encoder (USE) と KMeans クラスタリングの組み合わせが、最高の Micro-F1 スコア 0.46 を達成し、すべての SBERT ファミリーおよび TF-IDF ベースのベースラインを上回った。
• SBERT ファミリーのモデルは、最先端の技術であるにもかかわらず、USE よりも性能が低かった。これは、金融テキストに対してドメイン特化した事前学習が、より効果的である可能性を示唆している。
• 文単位のクラスタリングは、1つの質問に複数のテーマを効果的に捉えることができ、わずかにノイズがあるにせよ、クラスタ内でのトピックの一貫性が強く保たれていた。
• HDBSCAN は常に KMeans よりも少ないクラスタ数（約 100）を選択したが、これによりトピックの多様性を捉える能力が制限された。
• 誤分類はしばしばトピック的に関連しており、例えば「trading」が「investing」と混同されるなど、金融分野における意味的類似性が原因であることが明らかになった。
• 「investing」クラスが優勢であるため、誤検出の数が多くなった。今後の研究では、このクラスの洗練や予測スコアの正規化を検討すべきである。