[논문 리뷰] A Survey of Neural Network Techniques for Feature Extraction from Text

Vineet John|arXiv (Cornell University)|2017. 04. 27.

Topic Modeling참고 문헌 16인용 수 7

한 줄 요약

이 종합 검토에서는 Word2Vec, GloVe 및 CNN, RNN과 같은 딥러닝 모델을 포함한 신경망 기반 텍스트 특징 추출 기법들을 TF-IDF와 n-gram과 같은 전통적인 통계적 방법과 비교한다. 신경망 기법은 특히 감성 분석 및 의미 유사성 측정과 같은 작업에서 의미 관계와 복잡한 패턴을 더 잘 포착함을 보여주지만, 계산 및 메모리 요구량이 높아 단순 검색 작업에는 TF-IDF로도 충분한 경우에 적합하지 않다.

ABSTRACT

This paper aims to catalyze the discussions about text feature extraction techniques using neural network architectures. The research questions discussed in the paper focus on the state-of-the-art neural network techniques that have proven to be useful tools for language processing, language generation, text classification and other computational linguistics tasks.

연구 동기 및 목표

• 신경망 기반 특징 추출 방법과 TF-IDF 및 n-gram과 같은 전통적인 통계 기법을 평가하고 비교하는 것.
• 신경망이 NLP 작업의 텍스트 표현 학습에서 가지는 장점과 한계를 규명하는 것.
• 특정 활용 사례에 따라 적절한 특징 추출 방법을 선택할 수 있도록 엔지니어 및 연구자에게 실용적인 참고 자료를 제공하는 것.
• 현대 신경망 아키텍처의 발전과 성능 상충 관계를 분석하는 것.

제안 방법

• NLP 분야의 기초 논문들을 조사하였으며, Goldberg (2016), Bengio 등 (2003), Mikolov 등 (2013)의 Word2Vec 논문을 포함한다.
• 핵심 신경망 모델을 검토: 단어 임베딩을 위한 skip-gram 및 CBOW, 전반적인 공시출현 모델링을 위한 GloVe, 시퀀스 모델링을 위한 CNN/RNN 아키텍처.
• 문서 수준의 표현을 분석하기 위해 Paragraph Vector (PV-DM, PV-DBOW)와 서브워드 모델링을 위한 FastText를 활용한다.
• 대표성 학습의 중간 단계로 POS 태깅, 셰이닝, NER, 의미 역할 레이블링과 같은 특징 공학 기법을 평가한다.
• 텍스트 분류, 감성 분석, 의미 유사성과 같은 작업에서의 모델 성능을 평가하기 위한 비교 프레임워크를 구축한다.
• GloVe의 로그-선형 회귀 및 공시출현 비율 모델링과 같은 수학적 공식을 활용해 단어 벡터 간 관계를 유도한다.

실험 결과

연구 질문

• RQ1 텍스트에서 특징을 추출하기 위한 비교적 단순한 통계 기법은 무엇인가?
• RQ2 간단한 방법에 비해 신경망을 사용하는 데 특별한 이점이 있는가?
• RQ3 간단한 방법에 비해 신경망이 겪는 상충 관계는 무엇인가?
• RQ4 다양한 기법 간 성능 및 정확도 측면에서의 비교는 어떻게 이루어지는가?
• RQ5 어떤 활용 사례에서 상충 관계가 신경망의 이점보다 더 큰가?

주요 결과

• Word2Vec 및 GloVe와 같은 신경망 기반 기법은 전통적인 TF-IDF 및 n-gram 모델에 비해 텍스트 내 의미적 및 문법적 관계를 더 잘 포착한다.
• Word2Vec의 skip-gram 모델은 벡터 공간에서 선형적인 유추 추론을 가능하게 하여 'king - man + woman ≈ queen'과 같은 연역적 연산을 수행할 수 있다.
• GloVe는 전반적인 공시출현 통계와 로그-선형 목표 함수 덕분에 Word2Vec보다 단어 유추 작업에서 더 뛰어난 성능을 보인다.
• CNN은 계층적 특징 추출과 차원 축소 기능 덕분에 문서 분류 및 요약 작업에서 효과적이다.
• RNN과 LSTMs는 장거리 의존성을 기억할 수 있기 때문에 언어 모델링 및 품사 태깅과 같은 순차적 모델링 작업에 적합하다.
• 간단한 정보 검색 또는 문서 순위 매기기 작업의 경우 TF-IDF와 점별 상호정보량(PMI)이 신경망보다 충분히 효율적이며 충분히 효과적이다.