[논문 리뷰] Unsupervised Learning of Task-Specific Tree Structures with Tree-LSTMs

Jihun Choi, Kang Min Yoo외 1명|arXiv (Cornell University)|2017. 07. 10.

Topic Modeling인용 수 17

한 줄 요약

이 논문은 사전에 정의된 파싱 트리가 필요 없이 순수 텍스트에서 직접 작업에 특화된 트리 구조를 학습하는 트리-LSTM 아키텍처를 제안한다. 직렬화된 Gumbel-Softmax 추정기를 사용하여 이산적 결정을 미분 가능하게 하여, 기존 트리-LSTM 방법보다 더 빠른 수렴 속도와 낮은 메모리 사용량을 달성하면서도 자연어 인터페이스 및 감성 분석 작업에서 동등하거나 더 뛰어난 성능을 보인다.

ABSTRACT

For years, recursive neural networks (RvNNs) have shown to be suitable for representing text into fixed-length vectors and achieved good performance on several natural language processing tasks. However, the main drawback of RvNN is that it requires explicit tree structure (e.g. parse tree), which makes data preparation and model implementation hard. In this paper, we propose a novel tree-structured long short-term memory (Tree-LSTM) architecture that efficiently learns how to compose task-specific tree structures only from plain text data. To achieve this property, our model uses Straight-Through (ST) Gumbel-Softmax estimator to decide the parent node among candidates and to calculate gradients of the discrete decision. We evaluate the proposed model on natural language interface and sentiment analysis and show that our model outperforms or at least comparable to previous Tree-LSTM-based works. We also find that our model converges significantly faster and needs less memory than other models of complex structures.

연구 동기 및 목표

• 구조를 명시적으로 요구하는 순환 신경망의 한계를 해결하기 위해.
• 순수 텍스트에서 직접 작업에 특화된 트리 구조를 엔드 투 엔드로 학습하기 위해.
• 기존의 구조적 모델과 비교해 메모리 소비를 줄이고 수렴 속도를 높이기 위해.
• 외부 파서에 의존하지 않고도 감성 분석 및 자연어 인터페이스와 같은 NLP 작업에서 성능을 향상시키기 위해.

제안 방법

• 모델은 후보 노드들 사이에서 부모 노드 결정을 미분 가능하게 샘플링하기 위해 직렬화된 Gumbel-Softmax 추정기를 사용한다.
• 트리 구조 결정의 이산성에도 불구하고 기울기 역전파를 통해 트리 구성 방식을 학습한다.
• 모델은 트리-LSTM 유닛을 사용해 하위 구조를 고정 길이의 벡터로 순차적으로 인코딩한다.
• 모델은 골드 표준 파싱 트리가 필요 없이 원시 텍스트에서 비지도 방식으로 학습된다.
• 최종 트리 구조는 후보 부모 노드들에 대한 학습된 주의 유사 결정에 의해 결정된다.

실험 결과

연구 질문

• RQ1 외부 파서에 의존하지 않고도 신경망 모델이 원시 텍스트에서 효과적이고 작업에 특화된 트리 구조를 직접 학습할 수 있는가?
• RQ2 미분 가능한 Gumbel-Softmax 추정기가 트리 구조 모델의 학습 안정성과 수렴 속도에 어떤 영향을 미치는가?
• RQ3 기존의 구조적 모델과 비교해 제안된 방법이 메모리 사용을 얼마나 줄이는가?
• RQ4 엔드 투 엔드 구조 학습에도 불구하고 모델이 하류 NLP 작업에서 경쟁 가능한 성능을 달성하는가?

주요 결과

• 제안된 모델은 감성 분석 및 자연어 인터페이스 작업 모두에서 이전의 트리-LSTM 기반 방법과 동등하거나 뛰어난 성능을 보였다.
• 복잡한 구조적 아키텍처를 가진 모델보다 수렴 속도가 뚜렷이 빠르게 나타났다.
• 기존의 복잡한 트리 구조를 가진 모델들과 비교해 학습 중 메모리 사용량이 적었다.
• 직렬화된 Gumbel-Softmax의 사용으로 이산적 트리 구조 결정을 통해 효과적인 기울기 흐름이 가능했다.