[논문 리뷰] Applying Deep Belief Networks to Word Sense Disambiguation

Peratham Wiriyathammabhum, Boonserm Kijsirikul외 2명|arXiv (Cornell University)|2012. 07. 02.

Topic Modeling참고 문헌 19인용 수 12

한 줄 요약

이 논문은 SENSEVAL-2 데이터셋을 사용하여 딥 릴리프 네트워크(DBN), 즉 딥 러닝 생성 모델을 단어의 의미 해석(의미 해석)에 적용한다. DBN은 제한된 연결 망원기반 모델(RBM)을 이용한 탐욕적 사전 훈련과 최적화를 통해 최상의 마이크로 평균 재현율 61.30%를 기록하며, SVM, MaxEnt, 나이브 베이즈, KPCA와 같은 최신 얕은 학습 알고리즘을 능가한다.

ABSTRACT

In this paper, we applied a novel learning algorithm, namely, Deep Belief Networks (DBN) to word sense disambiguation (WSD). DBN is a probabilistic generative model composed of multiple layers of hidden units. DBN uses Restricted Boltzmann Machine (RBM) to greedily train layer by layer as a pretraining. Then, a separate fine tuning step is employed to improve the discriminative power. We compared DBN with various state-of-the-art supervised learning algorithms in WSD such as Support Vector Machine (SVM), Maximum Entropy model (MaxEnt), Naive Bayes classifier (NB) and Kernel Principal Component Analysis (KPCA). We used all words in the given paragraph, surrounding context words and part-of-speech of surrounding words as our knowledge sources. We conducted our experiment on the SENSEVAL-2 data set. We observed that DBN outperformed all other learning algorithms.

연구 동기 및 목표

• 딥 릴리프 네트워크(DBN)가 기존의 얕은 학습 알고리즘과 비교하여 단어의 의미 해석(WSD)에서 얼마나 효과적인지 평가하는 것.
• 딥 러닝이 수동적인 특징 공학 없이도 희박하고 고차원적인 WSD 데이터로부터 의미 있는 계층적 특징을 추출할 수 있는지 조사하는 것.
• 각 단어 작업당 훈련 샘플 수가 제한된 상황에서도 DBN이 의미 해석 간의 일반화 능력이 뛰어나다는 것을 확인하는 것.
• 주제, 국소적, 품사 정보 특징과 같은 다양한 지식 소스 간의 DBN 성능를 비교하는 것.

제안 방법

• DBN은 두 단계로 훈련된다: 제한된 연결 망원기반 모델(RBM)을 이용한 탐욕적 계층별 사전 훈련, 그리고 분류 기반 역전파를 통한 최적화.
• 특징 벡터는 주변 단어, 품사 태그, 의미 해석으로부터 구성되며, SENSEVAL-2 영어 어휘 샘플 작업을 기반으로 한다.
• 모델은 여러 층의 확률적 히든 유닛을 사용하여 문맥의 계층적 표현을 학습하는 깊이 있는 아키텍처를 사용한다.
• 작은 훈련 세트에 특히 적합하도록, 최적의 초모수(학습률, 네트워크 깊이 등)를 선택하기 위해 교차 검증이 사용된다.
• 성능 평가는 다양한 단어 작업에 걸쳐 SENSEVAL-2 테스트 세트에서 마이크로 평균 재현율을 사용하여 평가된다.
• 기준 모델로는 1-NN, 나이브 베이즈, SVM, MaxEnt, KPCA, MLP가 포함되며, p-값을 사용하여 결과를 비교한다.

실험 결과

연구 질문

• RQ1 딥 릴리프 네트워크(DBN)가 SVM 및 MaxEnt와 같은 기존의 얕은 학습 모델보다 단어의 의미 해석에서 뛰어난 성능을 보일 수 있는가?
• RQ2 국소적 문맥과 품사 태그에서 유도된 희박하고 고차원적인 특징으로 훈련되었을 때 DBN의 성능는 어떠한가?
• RQ3 추가적인 주제나 품사 정보 특징 없이 국소적 특징만을 사용했을 때 DBN이 여전히 뛰어난 성능을 유지하는가?
• RQ4 기존의 분류기와 비교했을 때 DBN이 수동적인 특징 공학의 필요성을 얼마나 줄이는가?

주요 결과

• DBN은 병합된 특징 세트에서 최고의 마이크로 평균 재현율 61.30%를 기록하였으며, 기준 모델 및 모든 다른 얕은 모델을 뛰어넘었다.
• 국소적 특징 설정에서 DBN은 기준 모델보다 13.63% 높은 성능, 로지스틱 회귀보다 3.97%, 선형 SVM보다 2.73% 높은 성능를 기록하였다.
• 품사 태그 특징 설정에서 DBN은 선형 SVM보다 8.13% 높고, 로지스틱 회귀보다 5.21% 높은 성능를 기록하여 이 특징 유형에서 강력한 성능를 보였다.
• 주제적 특징에서 DBN은 마이크로 평균 재현율 57.25%를 기록하였으며, 기준 모델보다 13.70% 높고, 다른 모델들보다도 유의미하게 뛰어났다.
• 높은 차원성과 희박성에도 불구하고, DBN은 단어 작업당 75~300개의 샘플만으로도 잘 일반화되어 데이터 부족 상황에서도 강건함을 입증하였다.
• 결과는 DBN이 수동으로 설계된 특징에 의존하지 않고도 원시적인 문맥 특징에서 유용한 비선형 표현을 추출할 수 있음을 시사한다.