[논문 리뷰] Towards Theme Detection in Personal Finance Questions

John Xi Qiu, Adam Faulkner외 1명|arXiv (Cornell University)|2021. 10. 04.

Topic Modeling참고 문헌 14인용 수 4

한 줄 요약

이 논문은 개인 금융 질의에서 주제 탐지에 대한 문장 수준 클러스터링 접근법을 제안하며, StackExchange 데이터에서 Universal Sentence Encoder (USE)와 KMeans 클러스터링을 사용하여 한 질문당 다수의 주제를 식별한다. 이 방법은 Micro-F1 0.46의 성능을 기록하여 SBERT 및 더 복잡한 의미 분석 기법들을 능가하며, 단순하고 강력한 인코딩 및 클러스터링 기법이 금융 고객 질의의 주제적 추세를 효과적으로 드러낼 수 있음을 보여준다.

ABSTRACT

Banking call centers receive millions of calls annually, with much of the information in these calls unavailable to analysts interested in tracking new and emerging call center trends. In this study we present an approach to call center theme detection that captures the occurrence of multiple themes in a question, using a publicly available corpus of StackExchange personal finance questions, labeled by users with topic tags, as a testbed. To capture the occurrence of multiple themes in a single question, the approach encodes and clusters at the sentence- rather than question-level. We also present a comparison of state-of-the-art sentence encoding models, including the SBERT family of sentence encoders. We frame our evaluation as a multiclass classification task and show that a simple combination of the original sentence text, Universal Sentence Encoder, and KMeans outperforms more sophisticated techniques that involve semantic parsing, SBERT-family models, and HDBSCAN. Our highest performing approach achieves a Micro-F1 of 0.46 for this task and we show that the resulting clusters, even when slightly noisy, contain sentences that are topically consistent with the label associated with the cluster.

연구 동기 및 목표

• 통화 센터 트랜스크립트에서 개인 금융 고객 질의의 다수의 새로운 주제를 탐지하기 위해.
• 키워드 기반 검색의 한계를 해결하기 위해, 이전에 발견되지 않은 추세인 '모르는 모르는 것들'(unknown unknowns)을 식별하기 위해.
• 금융 도메인 환경에서 주제 탐지에 적합한 문장 인코딩 및 클러스터링 기법의 평가 및 비교를 위해.
• 한 질문당 다수의 주제를 포착할 수 있는 문장 수준에서 작동하는 확장 가능한 비지도 파ip라인을 개발하기 위해.
• 기밀 통화 센터 데이터를 대체로 사용하기 위해 공개된 StackExchange의 개인 금융 질문 데이터를 활용하여 접근법을 검증하기 위해.

제안 방법

• 이 방법은 통화 트랜스크립트에서 고객 문제 진술(CPS)을 문장 단위로 분할하여 분석한다.
• 유니버설 문장 인코더(USE)와 SBERT 패밀리 모델을 사용하여 문장 수준의 인코딩을 수행해 고밀도 벡터 표현을 생성한다.
• 인코딩된 문장 벡터를 기반으로 KMeans와 HDBSCAN을 사용해 의미적으로 유사한 문장을 클러스터링한다.
• 복잡한 의미 분석을 피하고, 원본 문장 텍스트, USE 임베딩, KMeans 클러스터링을 조합한 접근법을 사용한다.
• 클러스터링된 문장 내의 일반화된 어휘 패턴을 바탕으로 인간이 이해할 수 있는 주제 레이블을 생성한다.
• Micro-F1를 사용한 다중 클래스 분류 작업으로 평가를 정의하며, 오류 분석은 잘못 분류된 패턴과 주로 우세한 클래스에 대한 편향을 중심으로 수행된다.

실험 결과

연구 질문

• RQ1 문장 수준의 클러스터링은 개인 금융 질문 내에서 다수의 주제를 효과적으로 탐지할 수 있는가?
• RQ2 특히 USE와 SBERT 간의 차이가 개인 금융 질의의 주제 탐지 성능에 미치는 영향은 어떠한가?
• RQ3 의미 분석이나 고급 모델을 포함한 더 복잡한 접근법보다, 원본 문장 텍스트에 USE와 KMeans를 사용하는 것이 더 우수한 성능을 내는가?
• RQ4 주제 탐지에서 잘못 분류되는 원인은 무엇이며, 클래스 불균형은 성능에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 금융 질의 데이터에서 시간에 따라 변화하는 신규 추세를 탐지할 수 있는가?

주요 결과

• 유니버설 문장 인코더(USE)와 KMeans 클러스터링의 조합이 가장 높은 Micro-F1 점수인 0.46을 기록하여, 모든 SBERT 패밀리 및 TF-IDF 기반 베이스라인을 능가했다.
• SBERT 패밀리 모델은 최신 기술임에도 불구하고 USE보다 성능이 열등하여, 금융 텍스트에 특화된 사전 훈련이 더 효과적일 수 있음을 시사한다.
• 문장 수준의 클러스터링은 질문당 다수의 주제를 성공적으로 포착했으며, 약간의 노이즈가 있더라도 클러스터 내 주제 일관성이 높았다.
• HDBSCAN은 KMeans에 비해 항상 더 적은 클러스터 수(약 100개)를 선택하여 주제 다양성을 포착하는 데 한계를 보였다.
• 잘못 분류된 사례는 대부분 주제적으로 유사한 경우였으며, 예를 들어 '거래(trading)'가 '투자(investing)'로 잘못 분류되는 등 금융 도메인 내 의미적 유사성이 높다는 것을 보여주었다.
• 우세한 '투자(investing)' 클래스로 인해 잘못된 양성 결과가 다수 발생하여, 향후 연구에서 이 클래스를 보다 정교하게 다루거나 예측 점수를 정규화하는 것이 필요할 것으로 보인다.