[논문 리뷰] Assessing the Linguistic Productivity of Unsupervised Deep Neural Networks

Lawrence Phillips, Nathan O. Hodas|arXiv (Cornell University)|2017. 06. 06.

Topic Modeling참고 문헌 26인용 수 4

한 줄 요약

이 연구는 비지도 학습을 통한 딥 오토에인코더가 결정사와 신규 명사 조합을 학습함으로써 언어적 생산성을 보일 수 있는지 평가한다. 그 결과, 충분한 드롭아웃을 적용할 경우 모델가 성인 어휘 수준과 유사한 속도로 새로운 명사-결정사 조합을 생성함을 발견하여, 딥 러닝 기반 언어 습득 모델링의 잠재적 가능성을 시사한다.

ABSTRACT

Increasingly, cognitive scientists have demonstrated interest in applying tools from deep learning. One use for deep learning is in language acquisition where it is useful to know if a linguistic phenomenon can be learned through domain-general means. To assess whether unsupervised deep learning is appropriate, we first pose a smaller question: Can unsupervised neural networks apply linguistic rules productively, using them in novel situations? We draw from the literature on determiner/noun productivity by training an unsupervised, autoencoder network measuring its ability to combine nouns with determiners. Our simple autoencoder creates combinations it has not previously encountered and produces a degree of overlap matching adults. While this preliminary work does not provide conclusive evidence for productivity, it warrants further investigation with more complex models. Further, this work helps lay the foundations for future collaboration between the deep learning and cognitive science communities.

연구 동기 및 목표

• 비지도 딥 신경망이 새로운 결정사와 명사를 조합하는 데 있어 언어적 생산성을 보일 수 있는지 조사하기.
• 오토에인코더가 기억한 입력 패tern을 넘어서 새로운 문법적으로 타당한 어구를 생성할 수 있는지 평가하기.
• 모델의 경험적 오버랩 점수를 성인 어휘와 비교하여 생산성 수준을 평가하기.
• 딥 러닝 모델을 언어 습득 분야에서의 인지 모델링 도구로 사용할 수 있는지 탐색하기.
• 향후 딥 러닝과 인지과학 분야 간의 협업을 위한 기초를 마련하기.

제안 방법

• 성인들이 생성한 영어 문장 코퍼스에서 결정사-명사(DET+N) 조합을 포함한 문장을 기반으로 피드포워드 오토에인코더를 학습시켰다.
• 일반화를 촉진하고 과적합을 줄이기 위해 학습 중에 드롭아웃 비율을 10%, 20%, 30%로 적용하였다.
• 학습된 잠재 공간에서 샘플링하여 새로운 문장을 생성하고, 이를 디코딩하여 텍스트를 생성하였다.
• 경험적 오버랩 점수를 계산하기 위해, 생성된 텍스트에서 'a'와 'the' 모두와 함께 나타나는 고유 명사의 비율을 산정하였다.
• 양의(2011) 방법을 사용해 단어 빈도 분포와 지프-스케일링을 고려한 기대 오버랩 점수를 계산하였다.
• 생성된 텍스트를 분석하기 위해 품사 태거를 사용하였지만, 비표준 또는 문법적으로 잘못된 출력으로 인한 제한점을 지적하였다.

실험 결과

연구 질문

• RQ1 비지도 오토에인코더 모델이 훈련 데이터에 존재하지 않는 새로운 결정사-명사 조합을 생성할 수 있는가?
• RQ2 모델의 경험적 오버랩 점수가 'a'와 'the' 간에 성인 어휘와 얼마나 일치하는가?
• RQ3 다양한 드롭아웃 비율이 모델의 생산적 언어 조합 생성 능력에 어떤 영향을 미치는가?
• RQ4 모델의 출력이 지프-분포를 따르는가? 이는 기대 오버랩 계산에 어떤 영향을 미치는가?
• RQ5 간단한 오토에인코더가 인지과학에서 초기 언어 생산성 모델링을 위한 타당한 기초 모델이 될 수 있는가?

주요 결과

• 30% 드롭아웃을 적용한 오토에인코더는 경험적 오버랩 점수 59.4%를 기록하여 성인 코퍼스의 59.3%와 매우 유사하게 나타났다.
• 성인의 경우 1,390개의 고유 명사 대비 모델은 816개의 고유 명사로 줄어든 점을 감안할 때, 30% 드롭아웃 모델이 성인 어휘 수준과 유사한 오버랩을 보였다.
• 10% 및 20% 드롭아웃 모델은 각각 경험적 오버랩 점수 53.3% 및 53.4%를 기록하여 일관되지만 약간 낮은 생산성을 보였다.
• 훈련 데이터에 존재하지 않는 새로운 DET+N 조합, 예를 들어 'the head' 및 'the dada'를 생성하여 기억 초월 일반화 능력을 입증하였다.
• 완벽한 지프-분포에서의 편차가 존재함(결정계수 R² = 0.86)에도 불구하고, 기대 오버랩 점수는 여전히 계산 가능하고 유의미한 정보를 제공하였다.
• 품사 태거가 일부 생성된 어구(예: 'the over')를 잘못 분류하여, 신경망 모델의 비문법적 출력을 분석하는 데 있어 과제가 있음을 시사하였다.