[논문 리뷰] Inducing Distant Supervision in Suggestion Mining through Part-of-Speech Embeddings

Sapna Negi, Paul Buitelaar|arXiv (Cornell University)|2017. 09. 21.

Natural Language Processing Techniques참고 문헌 5인용 수 9

한 줄 요약

이 논문은 위키하우와 위키백과에서 유도된 대규모 실버기준 데이터셋을 사용하여 제안 문장 추출을 위한 두 가지 원거리 지도 학습 방법을 제안한다. 문장의 품사(POS) 임베딩을 도입하여 단어 임베딩을 초월하는 성능을 달성했으며, 매우 적은 어휘량임에도 불구하고 가장 높은 F1 스코어를 기록함으로써, 제안 문장 분류에서 문법적 특징이 어휘적 특징보다 더 예측력이 높다는 것을 입증한다.

ABSTRACT

Mining suggestion expressing sentences from a given text is a less investigated sentence classification task, and therefore lacks hand labeled benchmark datasets. In this work, we propose and evaluate two approaches for distant supervision in suggestion mining. The distant supervision is obtained through a large silver standard dataset, constructed using the text from wikiHow and Wikipedia. Both the approaches use a LSTM based neural network architecture to learn a classification model for suggestion mining, but vary in their method to use the silver standard dataset. The first approach directly trains the classifier using this dataset, while the second approach only learns word embeddings from this dataset. In the second approach, we also learn POS embeddings, which interestingly gives the best classification accuracy.

연구 동기 및 목표

• 제안 문장 추출을 위한 대규모 수작업 레이블이 부여된 데이터셋의 부족을 해결하여 강력한 분류기 학습의 핵심적 장애요소를 해소하기 위해.
• 위키하우(긍정) 및 위키백과(부정) 문장에서 자동으로 구성된 대규모 자동 생성 실버기준 데이터셋을 활용한 원거리 지도 학습을 탐색하기 위해.
• 실버기준 데이터셋에서 학습된 POS 임베딩이 전통적인 단어 임베딩보다 분류 성능을 향상시킬 수 있는지 평가하기 위해.
• 단어 수준 표현에 의존하지 않고, 학습된 임베딩을 활용한 품사 태그만을 입력 특징으로 사용할 경우의 성능을 조사하기 위해.
• 제안된 방법이 여행, 소프트웨어, 호텔 리뷰 등 다양한 도메인에서 일반화되는지 평가하기 위해.

제안 방법

• 위키하우(제안으로 레이블링됨)에서 문장을 추출하고 위키백과(비제안으로 레이블링됨)에서 문장을 추출하여 대규모 실버기준 데이터셋을 구성함으로써 위키 제안 데이터셋을 구축한다.
• 두 가지 다른 접근 방식을 사용하여 양방향 LSTM 기반 분류기를 훈련한다: (1) 실버 데이터셋에 직접 단어 임베딩을 사용하여 훈련하고, (2) 실버 데이터셋에서 단어 및 POS 임베딩을 학습한 후 이를 입력 특징으로 사용한다.
• 실버 데이터셋에서 50차원의 POS 임베딩(WiSE_p)을 학습하며, 각 품사 태그를 토큰으로 간주하여 신경망의 입력 특징으로 사용한다.
• 여러 테스트 데이터셋에서 사전 학습된 GloVe 단어 임베딩, 자기 학습된 단어 임베딩(WiSE_w), 그리고 POS 임베딩(WiSE_p)의 성능을 비교한다.
• t-SNE 차원 축소를 적용하여 마지막 LSTM 레이어의 문장 표현을 시각화하고, GloVe와 WiSE_p 임베딩 간의 군집 패턴을 비교한다.
• 호텔, 여행, 소프트웨어 등의 도메인 간 테스트 세트에 모델을 적용하여 학습된 표현의 일반화 능력과 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 위키하우와 위키백과에서 자동으로 구성된 대규모 실버기준 데이터셋이 제안 문장 추출을 위한 원거리 지도 학습 소스로 효과적으로 기능할 수 있는가?
• RQ2 실버기준 데이터셋에서 학습된 품사 임베딩이 단어 임베딩보다 더 높은 분류 성능을 내는가?
• RQ3 단어 임베딩 없이 품사 태그만을 사용한 문장(품사 임베딩 기반)으로 훈련된 분류기의 성능은 전체 단어로 훈련된 분류기와 비교해 어떻게 되는가?
• RQ4 다양한 언어 스타일과 제안 표현 패턴을 가진 도메인 간에서 품사 임베딩이 얼마나 일반화되는가?
• RQ5 품사 임베딩이 어휘량이 훨씬 적은 단어 임베딩보다 성능이 뛰어나게 되는 이유는 무엇인가?

주요 결과

• POS 임베딩 기반 접근 방식(WiSE_p)이 모든 테스트 데이터셋에서 가장 높은 F1 스코어를 기록했으며, 단어 임베딩 기반 베이스라인과 직접 훈련 방식을 모두 초월했다.
• 호텔 리뷰 데이터셋에서 WiSE_p 모델은 F1 스코어 0.53을 기록했으며, GloVe 기반 모델을 능가했고 도메인 이동에 대한 강건성도 입증했다.
• POS 임베딩을 사용함으로써 t-SNE 시각화에서 더 컴act하고 일관된 문장 표현이 나타났으며, 긍정 사례에 대해 오직 두 개의 주요 군집만 형성되어 더 나은 문법적 일반화가 이루어졌음을 시사했다.
• 실버 데이터셋의 전체 위키 데이터셋에서 훈련해도 WiSE_p 임베딩를 사용할 경우 성능 향상이 유의미하게 발생하지 않았으며, 이는 작은 도메인 특화 서브샘플이라도 효과적인 POS 표현을 도출할 수 있음을 시사한다.
• WiSE_w(단어 임베딩) 모델은 훈련 및 테스트 데이터셋 간 어휘 겹침 비율이 낮아 성능이 열악했으며, 이는 자원이 적은 환경에서 단어 수준 임베딩의 한계를 드러냈다.
• 결과적으로, POS 임베딩를 통해 인코딩된 문법적 구조가 어휘적 내용보다 제안 문장 식별에 더 신뢰할 수 있는 신호임을 시사한다.