[논문 리뷰] Prediction Focused Topic Models via Feature Selection

Jason Ren, Russell Kunes외 1명|arXiv (Cornell University)|2019. 10. 12.

Topic Modeling참고 문헌 13인용 수 6

한 줄 요약

이 논문은 예측 대상과 관련이 없는 어휘 항목을 주제 학습 중에 식별하고 제거하기 위해 변분 특성 선택을 사용하는 예측 중심 sLDA(pf-sLDA)를 소개한다. 비예측적이고 빈도가 높은 용어를 걸러내어 주제의 일관성을 향상시키면서도 경쟁적인 예측 정확도를 유지하며, 영화 리뷰 및 간질 탐지와 같은 실세계 데이터셋에서 기존 방법들을 능가한다.

ABSTRACT

Supervised topic models are often sought to balance prediction quality and interpretability. However, when models are (inevitably) misspecified, standard approaches rarely deliver on both. We introduce a novel approach, the prediction-focused topic model, that uses the supervisory signal to retain only vocabulary terms that improve, or at least do not hinder, prediction performance. By removing terms with irrelevant signal, the topic model is able to learn task-relevant, coherent topics. We demonstrate on several data sets that compared to existing approaches, prediction-focused topic models learn much more coherent topics while maintaining competitive predictions.

연구 동기 및 목표

• 예측 성능와 주제의 해석 가능성 사이의 상충 관계를 해결하기 위해.
• 예측 대상과 관련이 없는 어휘 항목을 식별하고 제거하여 주제의 일관성과 모델 성능을 떨어뜨리는 요인을 제거하기 위해.
• 예측 주제를 동시에 학습하고 감독 신호를 이용해 특성 선택을 수행하는 방법을 개발하기 위해.
• pc-sLDA와 sLDA와 같은 기존의 예측 주제 모델보다 특성의 비관련성을 명시적으로 모델링함으로써 개선하기 위해.
• 모델에 의해 유추된 관련성 기반의 특성 선택이 주제 품질과 예측 성능 유지를 위해 상관관계 기반 필터링보다 뛰어나다는 것을 입증하기 위해.

제안 방법

• pf-sLDA는 각 단어가 예측에 관련이 있는지 여부를 결정하는 변분 특성 선택기 φv를 도입함으로써 예측 주제 모델을 확장한다.
• 모델은 제약 조건이 있는 변분 가족을 사용하는 그래픽 모델에서 변분 추론 프레임워크를 통해 주제 분포 β와 특성 선택기 φ를 함께 최적화한다.
• 비예측적 특성의 잔차 신호를 모델링하기 위해 전용 주제 π를 도입하며, βTπ = 0 조건을 통해 수직성을 유지하고 간섭을 방지한다.
• 목적 함수는 데이터의 주변 가능도와 목표의 조건부 가능도를 균형 잡으며, 일관성과 예측 사이의 트레이드오���을 제어하는 하이퍼파rameter를 포함한다.
• 공분산 하강법(SGD)을 사용하여 공동 가능도의 하한 근사(ELBO)를 최적화한다.
• 특성 선택은 φv > 0.99인 단어만 유지함으로써 수행되며, 이는 예측에 기여하지 않는 용어를 효과적으로 걸러내는 데 기여한다.

실험 결과

연구 질문

• RQ1 예측 대상과 관련이 없는 특성을 명시적으로 식별하고 제거함으로써 예측 주제 모델이 주제의 일관성을 향상시킬 수 있는가?
• RQ2 모델에 의해 추론된 관련성 기반의 특성 선택이 주제 일관성과 예측 성능 유지에 있어 상관관계 기반 필터링보다 뛰어나게 작용하는가?
• RQ3 비예측적 특성에 대한 잔차 주제 π의 포함이 주제 품질과 모델 최적화에 어떤 영향을 미치는가?
• RQ4 pf-sLDA는 sLDA와 pc-sLDA에 비해 상당히 높은 주제의 해석 가능성과 경쟁적인 예측 정확도를 유지할 수 있는가?
• RQ5 유의미한 주제 β와 잔차 주제 π 사이의 수직성 강제 조건이 모델 수렴과 성능에 어떤 영향을 미치는가?

주요 결과

• Pang과 Lee의 영화 리뷰 데이터셋에서 pf-sLDA는 sLDA와 pc-sLDA보다 더 높은 주제 일관성과 낮은 RMSE를 달성했으며, 주제가 명확한 감정 성향을 보였다.
• pf-sLDA는 상관관계 기반 필터링을 능가했다: φv > 0.99로 선택된 단어를 기반으로 학습한 주제가 상위 N개의 상관관계가 높은 단어를 기반으로 한 주제보다 더 높은 일관성과 예측 성능을 보였다.
• 모델은 표준 sLDA와 pc-sLDA에서 주제를 오염시키는 일반적이고 비관련성 있는 단어들인 'comedy', 'action', 'plot' 등을 성공적으로 걸러냈다.
• 정성적 분석 결과, pf-sLDA 주제의 회귀 계수는 감정 강도와 매우 잘 일치했으며, 고감정 주제는 명확히 긍정적이었고 저감정 주제는 명확히 부정적이었다.
• 잔차 주제 π의 사용은 관련 및 비관련 특성 간의 효과적인 분리 가능성을 제공하여 주제의 안정성과 해석 가능성 향상에 기여했다.
• pf-sLDA는 시뮬레이션 데이터에서도 뛰어난 성능을 보였으며, 비관련 단어가 존재할 경우 특성 선택이 주제 복원을 향상시킨다는 것을 확인했다.