[논문 리뷰] Suggestion Mining from Online Reviews using ULMFiT

Sarthak Anand, Debanjan Mahata외 7명|arXiv (Cornell University)|2019. 04. 19.

Sentiment Analysis and Opinion Mining참고 문헌 16인용 수 5

한 줄 요약

이 논문은 유저 리뷰 문장에서 제안사항 또는 비제안사항을 분류하기 위해 ULMFiT 기반 접근법을 제안하며, 클래스 불균형과 복잡한 언어 패턴을 해결하기 위해 전이 학습을 활용한다. 모델은 SemEval 2019 Task 9 Sub Task A에서 34개 팀 중 10위를 기록하며 F1 스코어 0.7011을 달성하여, 실제 불균형 데이터셋에서 제안사항 탐지에 대해 미세조정된 언어 모델의 효과성을 입증한다.

ABSTRACT

In this paper we present our approach and the system description for Sub Task A of SemEval 2019 Task 9: Suggestion Mining from Online Reviews and Forums. Given a sentence, the task asks to predict whether the sentence consists of a suggestion or not. Our model is based on Universal Language Model Fine-tuning for Text Classification. We apply various pre-processing techniques before training the language and the classification model. We further provide detailed analysis of the results obtained using the trained model. Our team ranked 10th out of 34 participants, achieving an F1 score of 0.7011. We publicly share our implementation at https://github.com/isarth/SemEval9_MIDAS

연구 동기 및 목표

• 비정형 온라인 리뷰 및 포럼에서 명시적 제안사항을 식별하는 데 도전하는 것.
• 저자원, 불균형 설정에서 ULMFiT를 통한 전이 학습의 효과성을 평가하는 것.
• 예측 및 데이터셋 애너테이션에 대한 상세한 오류 분석을 수행하여 레이블링의 일관성 문제와 모델의 한계를 밝혀내는 것.
• 미래 연구에서 도메인 외 제안사항 탐지에 대해 훈련된 모델의 일반화 잠재력을 탐색하는 것.

제안 방법

• UserVoice.com에서 확보한 대규모 도메인 특화 데이터셋(제안사항 문장 2085개, 비제안사항 문장 6415개)을 기반으로 유니버설 언어 모델(ULMFiT)을 미세조정하였다.
• Ekphrasis 라이브러리를 사용하여 정규화, URL 및 해시태그 처리, 이모지 대체 등을 포함한 광범위한 텍스트 전처리를 수행하였다.
• BPTT=70, 배치 크기=48, 임bedding 크기=400, 히든 크기=1150, 3층 구조로 설정하고 fastText 단어 임베딩을 사용하여 ULMFiT 모델을 훈련하였다.
• 추론 성능를 평가하기 위해 다항 나이브 베이즈, 로지스틱 회귀, 서포트 벡터 머신, LSTM 등의 베이스라인 모델과의 비교 분석을 수행하였다.
• 혼동 행렬 분석 및 거짓 양성/거짓 음성에 대한 오류 분석을 통해 언어 패턴과 애너테이션 문제를 규명하였다.

실험 결과

연구 질문

• RQ1 실제 비정형 온라인 리뷰에서 심각한 클래스 불균형이 존재하는 환경에서 ULMFiT가 제안사항 대 비제안사항 문장을 효과적으로 분류할 수 있는가?
• RQ2 제안사항 탐지에서 오분류를 유도하는 주요 언어적 및 애너테이션 과제는 무엇인가? 특히 거짓 양성 및 거짓 음성의 경우이다.
• RQ3 키워드 패턴(예: 'please', 'should', 'would')은 모델의 거짓 양성 예측과 어떻게 관련이 있는가?
• RQ4 모델의 도메인 외 제안사항 탐지에 대한 일반화 능력은 어느 정도이며, 전이 학습을 통해 다양한 도메인 간에 어떻게 활용될 수 있는가?

주요 결과

• ULMFiT 모델은 테스트 세트에서 F1 스코어 0.7011을 기록하여 SemEval 2019 Task 9 Sub Task A에서 34개 팀 중 10위를 기록하였다.
• 로지스틱 회귀(F1=0.572) 및 서포트 벡터 머신(F1=0.576)을 포함한 모든 베이스라인 모델보다 뛰어난 성능을 보이며 전이 학습의 장점을 입증하였다.
• 거짓 양성 예측의 77%는 'would', 'could', 'should', 'want', 'need', 'please'와 같은 고빈도 모달 또는 요청형 키워드를 포함하고 있었다.
• 훈련 데이터에 문장 'Current app extension only supports loading assets and scripts'가 제안사항으로 잘못 레이블링된 경우가 다수 발견되어, 애너테이션 오류가 존재함을 확인하였다.
• 훈련 세트에서는 높은 성능(F1=0.861)을 보이며 학습 능력이 뛰어나지만, 도메인 이동과 애너테이션 노이즈로 인해 테스트 세트로의 일반화 능력은 제한적임을 나타냈다.