[논문 리뷰] Mining Discourse Markers for Unsupervised Sentence Representation Learning

Damien Sileo, Tim Van de Cruys외 2명|arXiv (Cornell University)|2019. 03. 28.

Topic Modeling참고 문헌 47인용 수 30

한 줄 요약

이 논문은 대규모 웹 스케일 텍스트에서 자동으로 논의 마커를 탐지하는 비지도 학습 방법을 제안하며, 각각 최소 10,000개의 예제를 포함하는 174개의 대규모 논의 마커 데이터셋을 구축한다. 이 방법은 패턴 기반 히우리스틱과 분포 클러스터링을 사용하여 명시적 논의 마커를 포함하는 문장 쌍을 추출하고, 이를 바탕으로 문장 임베딩을 학습하여 전이 작업에서 최신 기술 수준의 성능을 달성하지만, 모델들은 문장 간의 의미 관계보다 어휘적 신호에 더 의존하는 것처럼 보인다.

ABSTRACT

Current state of the art systems in NLP heavily rely on manually annotated datasets, which are expensive to construct. Very little work adequately exploits unannotated data -- such as discourse markers between sentences -- mainly because of data sparseness and ineffective extraction methods. In the present work, we propose a method to automatically discover sentence pairs with relevant discourse markers, and apply it to massive amounts of data. Our resulting dataset contains 174 discourse markers with at least 10k examples each, even for rare markers such as coincidentally or amazingly We use the resulting data as supervision for learning transferable sentence embeddings. In addition, we show that even though sentence representation learning through prediction of discourse markers yields state of the art results across different transfer tasks, it is not clear that our models made use of the semantic relation between sentences, thus leaving room for further improvements. Our datasets are publicly available (https://github.com/synapse-developpement/Discovery)

연구 동기 및 목표

• 수동으로 애너테이션된 NLP 데이터셋의 부족함과 편향 문제를 해결하기 위해, 애너테이션되지 않은 논의 마커를 감독 신호로 활용하고자 한다.
• 소규모 사전 정의된 마커 목록에 의존했던 이전 연구의 한계를 극복하고, 대규모 텍스트에서 광범위하고 다양한 논의 마커를 자동으로 탐지하고자 한다.
• 논의 마커 예측이 문장 간의 의미 관계를 진정으로 포착하는지, 아니면 표면적인 어휘적 신호에 의존하는지 평가하고자 한다.
• 문장 쌍에 논의 마커를 애너테이션한 공개 가능한 대규모 데이터셋을 구축하여 문장 표현 학습 및 평가에 기여하고자 한다.
• 논의 마커로 학습된 모델이 실제로 문장 간의 의미 관계를 활용하는지, 아니면 단순히 어휘 패턴을 악용하는지 탐구하고자 한다.

제안 방법

• 이 방법은 의존 구문 분석과 공시도 통계를 활용하여 문장 쌍에 논의 마커가 포함되어 있는지를 식별하기 위해 문법적 및 분포 패턴의 조합을 사용한다.
• 유사한 의미를 가진 논의 마커를 군집화하는 방법을 적용하여 희귀 마커 및 다중어절 마커를 탐지할 수 있도록 한다.
• 패턴 매칭 파이프라인을 통해 문법 템플릿과 논의 마커 주변의 어휘적 신호를 기반으로 후보 문장 쌍을 추출한다.
• 결과적으로 생성된 데이터셋은 174개의 논의 마커를 포함하며, 각 마커에 최소 10,000개의 예제가 포함되어 있으며, 'coincidentally'나 'amazingly'와 같은 희귀 마커도 포함되어 있다.
• 문장 임베딩은 대비 학습 목표를 사용하여 각 문장 쌍에 대해 후보 마커들 중 정확한 마커를 예측하도록 학습한다.
• 모델이 문장 간 관계에 의존하는지 아니면 단지 어휘적 특징에 의존하는지 점검하기 위해 셔플링 편향 기법을 포함한다.

실험 결과

연구 질문

• RQ1 애너테이션되지 않은 텍스트에서 희귀 마커나 다중어절 마커까지 대규모로 논의 마커를 자동으로 탐지할 수 있는가?
• RQ2 논의 마커 예측을 통한 문장 표현 학습이 기존 비지도 학습 방법보다 더 나은 전이 성능을 내는가?
• RQ3 논의 마커로 학습된 모델이 문장 간 의미 관계에 얼마나 의존하는가, 아니면 단순한 어휘 패턴을 악용하는가?
• RQ4 논의 마커 예측의 성능 향상 요인이 고수준의 추론인지, 아니면 표면적인 신호인가?
• RQ5 '간단한' 예시의 포함 여부가 문장 표현의 일반화에 어떤 영향을 미치는가?

주요 결과

• 이 방법은 174개의 논의 마커를 성공적으로 탐지하였으며, 각 마커에 최소 10,000개의 예제가 포함되어 있으며, 'coincidentally'나 'amazingly'와 같은 희귀 마커까지 포함하여 이전 데이터셋을 크게 초월하였다.
• 생성된 문장 임베딩은 SentEval 벤치마크의 14개 전이 학습 작업 중 12개에서 최신 기술 수준의 성능을 달성하였으며, InferSent나 QuickThought와 같은 기존 모델들을 능가하였다.
• 이 데이터셋으로 학습된 모델은 굵은 톤의 PDTB 암묵적 논의 관계 작업에서 52.5%의 정확도를 기록하여 이전 방법들을 능가하였다.
• 학습 중 문장 순서를 셔플링해도 성능에 미미한 영향을 미쳐, 모델이 문장 간 의미 관계보다 어휘적 특징에 더 의존하고 있음을 시사한다.
• '간단한' 예시(예: 명백한 어휘적 신호가 포함된 예)를 제거하면 전이 성능이 크게 악화되어, 이러한 예시들이 일반화에 매우 중요하다는 것을 시사한다.
• 최신 기술 수준의 성능를 달성했음에도 분석 결과, 모델이 문장 간 의미 관계를 의미적으로 활용하지 못하고 있음을 확인하여, 관계 인식 표현 학습 분야에 향후 개선 여지가 남아 있다.