[논문 리뷰] Reproducing and learning new algebraic operations on word embeddings using genetic programming

Roberto Santana|arXiv (Cornell University)|2017. 02. 18.

Evolutionary Algorithms and Applications참고 문헌 21인용 수 3

한 줄 요약

이 논문은 단어 임베딩에 대한 대수적 연산을 자동으로 발견하고 진화시켜 수작업으로 설계된 선형 연산을 능가하는 유전적 프로그래밍(GP)을 제안한다. 벡터 조합을 실행 가능한 프로그램으로 간주함으로써 GP는 단어 연관성 작업에서 표준 방법보다 높은 정확도를 달성하는 복잡한 비선형 변환을 학습한다. 이는 다양한 벡터 공간과 코퍼스 간의 이식 가능성을 보여준다.

ABSTRACT

Word-vector representations associate a high dimensional real-vector to every word from a corpus. Recently, neural-network based methods have been proposed for learning this representation from large corpora. This type of word-to-vector embedding is able to keep, in the learned vector space, some of the syntactic and semantic relationships present in the original word corpus. This, in turn, serves to address different types of language classification tasks by doing algebraic operations defined on the vectors. The general practice is to assume that the semantic relationships between the words can be inferred by the application of a-priori specified algebraic operations. Our general goal in this paper is to show that it is possible to learn methods for word composition in semantic spaces. Instead of expressing the compositional method as an algebraic operation, we will encode it as a program, which can be linear, nonlinear, or involve more intricate expressions. More remarkably, this program will be evolved from a set of initial random programs by means of genetic programming (GP). We show that our method is able to reproduce the same behavior as human-designed algebraic operators. Using a word analogy task as benchmark, we also show that GP-generated programs are able to obtain accuracy values above those produced by the commonly used human-designed rule for algebraic manipulation of word vectors. Finally, we show the robustness of our approach by executing the evolved programs on the word2vec GoogleNews vectors, learned over 3 billion running words, and assessing their accuracy in the same word analogy task.

연구 동기 및 목표

• 유전적 프로그래밍이 단어 임베딩을 위한 효과적인 조합 연산을 자동으로 학습할 수 있는지 조사하기.
• GP에 의해 생성된 프로그램이 의미 관계를 포착하는 데 있어 전통적인 선형 대수적 연산을 능가할 수 있는지 판단하기.
• 진화된 프로그램이 다양한 단어 벡터 공간과 코퍼스 간에 이식 가능한지 평가하기.
• 벡터 공간 내에서 복잡하고 비선형적인 변환을 위한 의미 조합을 진화시키는 것이 가능한지 탐색하기.
• 작은 단어 벡터 공간에서 훈련된 프로그램이 더 크고 복잡한 공간으로 일반화될 수 있는지 평가하기.

제안 방법

• 트리 기반 유전적 프로그래밍(GP)을 사용해 단어 벡터 연산을 실행 가능한 프로그램으로 표현하기.
• 산술 연산자(예: +, −, ×, ÷), 상수, 단어 벡터 입력을 사용해 연산을 기호 표현식으로 인코딩하기.
• 단어 연관성 정확도 기반의 적합도 평가를 통해 프로그램을 진화시키기: 출력 벡터와 정답 대상 단어 간의 거리 최소화.
• 표준 GP 연산자인 선택, 교차, 돌연변이를 사용해 세대 간에 점진적으로 프로그램 품질 향상시키기.
• 코사인 유사도를 사용해 벡터 공간 내에서 가장 가까운 이웃을 찾는 방식으로 단어 연관성 벤치마크에서 훈련 및 검증 수행하기.
• 작은 규모와 대규모 word2vec 벡터(예: GoogleNews, 3B 단어)에서 모두 진화된 프로그램을 테스트해 일반화 및 이식 가능성 평가하기.

실험 결과

연구 질문

• RQ1 유전적 프로그래밍을 사용해 훈련 예제로부터 의미 있는 벡터 대수적 연산을 학습할 수 있는가?
• RQ2 유전적 프로그래밍은 의미 벡터 공간 내에서 조합 연산을 발견하는 데 실현 가능한 접근인가?
• RQ3 단어 연관성 작업에서 GP 성능이 표준 수작업 선형 연산과 비교해 어떻게 되는가?
• RQ4 GP로 진화된 프로그램은 다양한 언어적 작업, 벡터 표현 방식, 코퍼스 크기 간에 이식 가능한가?
• RQ5 작은 벡터 공간에서 훈련된 프로그램이 더 크고 복잡한 벡터 공간에 효과적으로 적용될 수 있는가?

주요 결과

• GP에 의해 생성된 프로그램은 표준 수작업 선형 규칙(예: king − man + woman → queen)보다 단어 연관성 작업에서 더 높은 정확도를 달성했다.
• 진화된 프로그램은 성별 및 어형 관계와 같은 알려진 언어 규칙성을 더 정밀하게 재현할 수 있었다.
• 진화된 프로그램은 작은 데이터셋에서 훈련되었음에도 불구하고 30억 단어의 GoogleNews word2vec 모델에서 잘 작동하여 강력한 이식 가능성을 보였다.
• 이 접근법은 단순한 선형 조합보다 뛰어난 비선형이고 복잡한 조합 연산을 성공적으로 학습했다.
• 작은에서 중간 규모의 벡터 공간에서 훈련된 프로그램은 더 크고 계산 비용이 더 높은 공간에서도 효과적으로 작동하여 확장성과 효율성 향상을 시사했다.
• 결과적으로 GP는 표준 선형 연산이 포착하지 못하는 숨겨진 또는 미묘한 의미 관계를 드러낼 수 있음을 시사한다.